大模型的记忆由参数化、短期上下文与外部RAG三层组成：参数化记忆在训练中写入模型权重，承担通识与语言模式；短期记忆依赖注意力、上下文窗口与KV缓存保持多轮连贯；外部记忆通过向量数据库与工具调用注入实时与专有知识。优化策略是少量微调强化风格、长上下文保证连贯、RAG与工具记忆提供正确性与可审计性，并以日志、权限与版本化做好治理。未来趋势为分层与自适应记忆、可学习检索器与多模态融合。

大模型参数通过前向传播把权重与输入进行线性与注意力计算，反向传播用梯度与优化器更新；推理时参数以量化低比特与分片方式加载，并依靠KV缓存减少重复计算。性能主要取决于精度格式、显存带宽与并行策略（数据并行、张量并行、流水并行），服务侧以权重分页与连续批处理提升命中率与吞吐。采用PEFT在冻结主权重下增设小参数实现微调，兼顾合规与成本。未来会向稀疏化、MoE与内存虚拟化发展。