大语言模型（Large Language Model，LLM）是一类在大规模文本或多模态数据上训练的语言模型。它通过学习符号序列中的统计规律，根据已有上下文预测后续内容，从而表现出文本生成、问答、摘要、翻译、信息抽取和代码处理等能力。
“大”没有固定不变的参数门槛。这个名称通常强调模型规模、训练数据、计算投入以及由规模化预训练带来的通用能力。LLM 是模型本身；聊天应用、检索增强生成系统和 AI Agent 则是在模型之上加入界面、数据、工具及运行机制形成的系统。
基本工作方式
LLM 通常先把输入转换为 Token，再根据上下文计算下一个 Token 的概率分布，并反复采样或选择后续 Token。现代 LLM 多以 Transformer 为基础，利用注意力机制建模序列中不同位置之间的关系。
一个面向应用的模型通常会经历若干阶段：
- 预训练：从大规模数据中学习语言规律和一般知识；
- 大语言模型后训练：通过监督微调、偏好优化或强化学习等方法，使模型更适合遵循指令和完成目标；
- 推理：根据提示词和上下文生成结果；
- 系统增强：接入检索、工具、记忆、工作流或 Agent 循环，以完成模型单次生成无法独立完成的任务。
LLM、聊天应用与 Agent
| 概念 | 核心含义 |
|---|---|
| LLM | 接收上下文并生成内容的模型 |
| 聊天应用 | 为模型提供对话界面、会话记录和产品功能的应用 |
| RAG 系统 | 在生成前检索外部资料并加入上下文的系统 |
| AI Agent | 使用模型判断下一步，并通过工具与环境交互、循环推进任务的系统 |
LLM 可以作为 Agent 的推理组件，但拥有 LLM 并不自动意味着系统就是 Agent。
能力边界
LLM 的输出由概率生成，不等同于经过核实的事实。模型可能产生看似合理但缺少依据的内容，也可能受到上下文长度、训练数据时效性、提示方式和采样策略影响。重要任务需要结合可靠资料、权限控制、结果验证和人工审查。
与外部知识的结合
模型参数中保存的是训练过程中形成的统计表示，不适合作为可随时更新、可精确引用的业务知识库。常见的外部知识方案包括：
- 检索增强生成（RAG）：在查询时检索相关资料，并将结果加入模型上下文；
- LLM Wiki：让 LLM Agent 持续把原始资料整理为可阅读、互相链接、不断积累的 Wiki；
- 工具调用：让模型通过受控接口读取数据库、搜索服务或其他实时系统。
子词条概述
- 大语言模型后训练：说明预训练之后的监督微调、偏好优化与强化学习；
- 上下文工程：说明模型在一次调用中应获得哪些信息，以及信息如何组织；
- 检索增强生成（RAG）：说明如何在生成前检索外部资料并提供依据；
- LLM Wiki：说明使用 LLM Agent 构建和维护持久知识库的范式。
这些子词条分别覆盖模型参数调整、运行时上下文、外部知识检索和长期知识整理。