训练 · 深度词条

SFT(Supervised Fine-Tuning,监督微调)

用人工或模型准备的“任务加理想回答”示例继续训练,让模型学会按要求回答。

深度词条核对 2026-09-072 条来源

四层解释

通俗

用人工或模型准备的“任务加理想回答”示例继续训练,让模型学会按要求回答。

专业

SFT 在预训练模型上最小化示范输出的监督损失,使策略靠近目标指令分布,是多数助手后训练的基础阶段。

机制

将指令与答案拼成训练序列,通常只对答案部分计算交叉熵损失,并更新全部或部分参数。

工程

示范覆盖、格式一致性、数据去重和难例比例比单纯扩大样本数更重要;必须保留未见测试集。

全链路位置

INPUT高质量指令与示范答案
PROCESS监督损失微调模型参数
OUTPUT更会遵循指令的策略模型

常见用途

  • 助手风格和格式
  • 领域任务适配
  • 工具调用示范

专业边界

  • SFT 倾向模仿示范,不直接学习偏好排序
  • 低质合成数据会放大模式错误

常见误解

  • SFT 能把文档完整写进模型
  • 训练轮数越多越贴合业务

关联概念

来源与核对记录

S1
Training Language Models to Follow Instructions with Human FeedbackOuyang et al. · 原始论文 · 查阅 2026-09-07
S2
LoRA: Low-Rank Adaptation of Large Language ModelsHu et al. · 原始论文 · 查阅 2026-09-07

编辑核对:2026-09-07。本状态表示内容与来源已登记,不代表经过外部专家审稿。