大语言模型后训练（LLM Post-training）

大语言模型后训练（LLM Post-training）是基础模型完成大规模预训练后，继续使用经过设计的数据、反馈或奖励信号调整模型参数，使其更适合遵循指令、满足偏好、安全约束和具体任务目标的一组训练方法。

不同团队对“后训练”的范围划分并不完全一致。本词条把监督微调、偏好优化和强化学习作为核心方法；Mid-training 常与这些阶段连续使用，但它通常仍沿用预训练的语言建模目标，因此也可以被视为继续预训练，而不是狭义后训练。

与预训练和系统增强的边界

阶段	主要数据或信号	主要目标
预训练	大规模通用语料	学习语言规律、通用知识和基础表征
Mid-training	目标语言、领域、代码或长上下文语料	在目标分布上继续补充知识与基础能力
监督微调（SFT）	输入与理想输出组成的示范	固化指令格式、回答风格和任务流程
偏好优化	较好与较差输出的比较或评分	让模型输出更符合人类或产品偏好
强化学习（RL）	当前模型生成的轨迹及奖励	提高能够获得奖励的行为和策略的概率

这些阶段不是每个项目都必须依次执行。强基础模型可能直接进行偏好优化或强化学习；格式明确的任务可能只需要 SFT；缺少的是动态、私有或需要引用的事实时，通常应使用检索增强生成（RAG）或工具，而不是反复训练模型权重。

Mid-training

Mid-training 又称继续预训练（Continued Pre-training），是在已有基础模型上，使用目标语言、领域文档、代码、长上下文或其他能力数据继续进行语言建模。它更适合处理“模型缺少完成任务所需的知识或基础表征”，而不是教模型按照某种对话格式回答。

Mid-training 通常对连续文本中的大量 Token 计算语言建模损失，而 SFT 把数据组织成输入与输出，并通常只训练回答部分。训练时需要混入适当的通用保留数据并检查通用能力回归，以降低模型过度适应目标分布或遗忘原有能力的风险。

监督微调

监督微调（Supervised Fine-Tuning，SFT）让模型学习高质量示范中的输入到输出映射。示范可以教会模型：

怎样理解和遵循指令；
怎样稳定输出 JSON、工具调用或其他协议；
怎样采用目标语言、术语、语气和回答结构；
怎样执行已经能够通过示范表达的任务流程。

SFT 的优势是训练目标直接、样本效率较高和工程过程相对稳定。它的主要限制是依赖示范覆盖：数据不足或模式单一时，模型可能只记住表面格式和少数解法；它也不适合承担持续更新、可追溯的大规模事实知识库。

偏好优化与 RLHF

偏好数据通常把同一输入下的两个输出标记为 chosen 和 rejected，或给输出提供分数。它用于表达“多个可接受答案中更偏好哪一个”，例如帮助性、安全性、简洁度或风格。

经典 RLHF（Reinforcement Learning from Human Feedback）流程通常先进行 SFT，再根据人工排序训练奖励模型，最后使用 PPO 等强化学习算法优化策略。奖励模型把复杂偏好压缩成可优化的标量，但它只是偏好的近似表示，模型可能利用奖励模型的漏洞而没有真正改善目标行为。

DPO（Direct Preference Optimization）直接从偏好对优化策略，不需要在训练循环中单独拟合并调用奖励模型，也不需要让当前策略在线采样 rollout。它简化了经典 RLHF 流程，但效果仍取决于偏好数据的来源、覆盖、质量以及参考策略。

强化学习

大语言模型强化学习通常让当前策略对任务生成一个或多个回答或工具调用轨迹，由验证器、环境、奖励模型或人工反馈计算奖励，再提高高奖励行为出现的概率。

当任务具有可执行测试、数学答案、规则检查或明确状态变化时，可以使用可验证奖励。这类信号比开放式主观评分更容易重复，但仍要防止模型找到验证器没有覆盖的捷径。开放式任务可以使用奖励模型或模型评判器补充评分，并通过人工样本持续校准。

强化学习适合当前模型已经能够偶尔生成有价值行为、奖励又能可靠区分好坏的场景。如果合理采样后仍几乎没有成功轨迹，应先检查是否缺少基础知识、输出协议、可达到的中间目标或有效反馈，而不是只增加训练轮次。

数据合成与筛选

后训练数据可以由人工示范、真实任务脱敏样本、教师模型生成和当前策略 rollout 组合而成。一条常见流水线是：

从真实需求提炼任务类型和成功条件；
由人工或教师模型生成任务与候选轨迹；
使用测试、规则、业务状态或人工抽检验证任务和答案；
去重并按任务类型、来源或时间隔离训练集与评估集；
将成功轨迹用于 SFT，将成对比较用于偏好优化，将可重复执行的任务接入 RL 环境。

模型生成的数据不能仅凭生成成功就进入训练集。应保留来源、生成模型、验证结果和版本，检查重复、错误放大、隐私与版权风险，并避免把隐藏测试、参考答案或验证器反馈泄露给被训练模型。

如何选择方法

观察到的问题	优先考虑
模型缺少目标语言、领域知识或基础能力	Mid-training；动态事实优先 RAG
模型会做，但格式、工具 Schema、术语或流程不稳定	SFT 或约束解码
模型已有合格回答，需要调整帮助性、安全性或风格偏好	DPO、RLHF 或其他偏好优化
模型偶尔成功，且任务能够可靠评分，但好策略概率较低	强化学习
知识需要频繁更新、权限过滤或精确引用	RAG 或受控工具

选择前应先建立固定评估集和基线，明确进入条件与停止条件。训练方法应服务于可测的问题，而不是把完整流水线当作必须执行的仪式。

与 Agent 的关系

后训练改变的是模型参数中的能力与默认行为；Agent Harness负责上下文组装、工具连接、运行循环、权限、验证、状态和错误恢复。训练可以提高模型选择工具、遵循格式或规划步骤的概率，但不能替代工具权限、外部状态验证和人工审批。

面向 Agent 的后训练数据可以包含工具调用和多步轨迹，评估时也应测试“模型与 Harness 的组合”。需要同时记录模型版本、提示与工具版本、任务环境、奖励或验证器版本，否则难以判断提升来自模型训练还是系统改动。更完整的评估方法参见 Agent 评估。

主要风险

训练数据错误、偏差或覆盖不足被固化进模型；
对目标数据过拟合，并造成通用能力或安全行为回退；
奖励函数或奖励模型存在漏洞，诱导奖励投机；
训练集与评估集重复，造成能力提升的虚假结论；
合成数据不断放大教师模型的错误和单一风格；
私密数据、受限内容或用户轨迹未经授权进入训练集；
训练成本增加，但部署任务没有获得可重复的实际收益。