训练 · 深度词条
Post-training(后训练)
在预训练之后继续教模型遵循指令、偏好、安全规则和工具格式,让它更像一个可用助手。
四层解释
通俗
在预训练之后继续教模型遵循指令、偏好、安全规则和工具格式,让它更像一个可用助手。
专业
后训练是 SFT、偏好学习、强化学习、安全训练和能力专项训练等阶段的集合,目标是改变模型行为分布。
机制
先用高质量示范建立指令行为,再利用人类或 AI 偏好比较优化输出,还可加入可验证任务和安全数据。
工程
后训练目标可能相互冲突,应分别评测帮助性、事实性、安全、拒答、工具使用和能力回归。
全链路位置
INPUT指令、示范、偏好与安全数据
→PROCESSSFT、偏好优化或强化学习
→OUTPUT更符合产品行为目标的模型
常见用途
- 助手指令遵循
- 工具调用格式
- 安全与领域适配
专业边界
- 对齐的是训练中表达的目标与偏好
- 不会补齐所有事实知识和工程控制
常见误解
- 后训练只是加一段 System Prompt
- 安全训练能替代应用权限
预训练之后为何还要后训练
研究事实
预训练主要学习数据中的统计结构;后训练用示范、偏好或其他反馈,让模型更贴近指令和目标行为。InstructGPT 论文展示了监督微调与人类反馈强化学习的一条历史路径;DPO 提供另一种偏好优化方法。
能力边界
后训练不是往模型里安装一个绝对可靠的事实库,也不能单独实现企业数据权限。模型会因训练、系统指令与上下文不同产生不同回答。
怎样检验行为改善
评测方法
把帮助性、事实性、拒答、工具使用和对抗输入分开测;在同一任务集上比较前后版本,并记录新出现的失败。优化平均偏好分不等于高风险场景足够安全。
证据边界
没有厂商公开证据时,不应把某篇历史论文里的 RLHF 或 DPO 流程直接写成最新商业模型的完整训练方案。
来源与核对记录
S1Training Language Models to Follow Instructions with Human FeedbackOuyang et al. · 原始论文 · 查阅 2026-10-22
↗S2Direct Preference OptimizationRafailov et al. · 原始论文 · 查阅 2026-10-22
↗S3Generative AI Profile, NIST AI 600-1NIST · 标准与框架 · 查阅 2026-09-07
↗S4Evaluation Best PracticesOpenAI · 官方技术文档 · 查阅 2026-09-07
↗S5NIST AI RMF PlaybookNIST · 官方治理框架 · 查阅 2026-10-03
↗基础释义核对:2026-09-07。专题核对:2026-10-03。局部修订不代表旧正文全部复核,尚未完成外部专家审稿。