训练 · 深度词条

Post-training(后训练)

在预训练之后继续教模型遵循指令、偏好、安全规则和工具格式,让它更像一个可用助手。

专题词条基础释义核对 2026-09-07专题核对 2026-10-035 条来源
本页目录 11 节

四层解释

通俗

在预训练之后继续教模型遵循指令、偏好、安全规则和工具格式,让它更像一个可用助手。

专业

后训练是 SFT、偏好学习、强化学习、安全训练和能力专项训练等阶段的集合,目标是改变模型行为分布。

机制

先用高质量示范建立指令行为,再利用人类或 AI 偏好比较优化输出,还可加入可验证任务和安全数据。

工程

后训练目标可能相互冲突,应分别评测帮助性、事实性、安全、拒答、工具使用和能力回归。

全链路位置

INPUT指令、示范、偏好与安全数据
→
PROCESSSFT、偏好优化或强化学习
→
OUTPUT更符合产品行为目标的模型

常见用途

  • 助手指令遵循
  • 工具调用格式
  • 安全与领域适配

专业边界

  • 对齐的是训练中表达的目标与偏好
  • 不会补齐所有事实知识和工程控制

常见误解

  • 后训练只是加一段 System Prompt
  • 安全训练能替代应用权限

预训练之后为何还要后训练

研究事实

预训练主要学习数据中的统计结构;后训练用示范、偏好或其他反馈,让模型更贴近指令和目标行为。InstructGPT 论文展示了监督微调与人类反馈强化学习的一条历史路径;DPO 提供另一种偏好优化方法。

依据Training Language Models to Follow Instructions with Human FeedbackDirect Preference Optimization
能力边界

后训练不是往模型里安装一个绝对可靠的事实库,也不能单独实现企业数据权限。模型会因训练、系统指令与上下文不同产生不同回答。

依据Training Language Models to Follow Instructions with Human FeedbackGenerative AI Profile, NIST AI 600-1

怎样检验行为改善

评测方法

把帮助性、事实性、拒答、工具使用和对抗输入分开测;在同一任务集上比较前后版本,并记录新出现的失败。优化平均偏好分不等于高风险场景足够安全。

依据Evaluation Best PracticesNIST AI RMF Playbook
证据边界

没有厂商公开证据时,不应把某篇历史论文里的 RLHF 或 DPO 流程直接写成最新商业模型的完整训练方案。

依据Training Language Models to Follow Instructions with Human FeedbackDirect Preference Optimization

来源与核对记录

S1
Training Language Models to Follow Instructions with Human FeedbackOuyang et al. · 原始论文 · 查阅 2026-10-22
S2
Direct Preference OptimizationRafailov et al. · 原始论文 · 查阅 2026-10-22
S3
Generative AI Profile, NIST AI 600-1NIST · 标准与框架 · 查阅 2026-09-07
S4
Evaluation Best PracticesOpenAI · 官方技术文档 · 查阅 2026-09-07
S5
NIST AI RMF PlaybookNIST · 官方治理框架 · 查阅 2026-10-03

基础释义核对:2026-09-07。专题核对:2026-10-03。局部修订不代表旧正文全部复核,尚未完成外部专家审稿。