训练 · 深度词条
SFT(Supervised Fine-Tuning,监督微调)
用人工或模型准备的“任务加理想回答”示例继续训练,让模型学会按要求回答。
四层解释
通俗
用人工或模型准备的“任务加理想回答”示例继续训练,让模型学会按要求回答。
专业
SFT 在预训练模型上最小化示范输出的监督损失,使策略靠近目标指令分布,是多数助手后训练的基础阶段。
机制
将指令与答案拼成训练序列,通常只对答案部分计算交叉熵损失,并更新全部或部分参数。
工程
示范覆盖、格式一致性、数据去重和难例比例比单纯扩大样本数更重要;必须保留未见测试集。
全链路位置
INPUT高质量指令与示范答案
→PROCESS监督损失微调模型参数
→OUTPUT更会遵循指令的策略模型
常见用途
- 助手风格和格式
- 领域任务适配
- 工具调用示范
专业边界
- SFT 倾向模仿示范,不直接学习偏好排序
- 低质合成数据会放大模式错误
常见误解
- SFT 能把文档完整写进模型
- 训练轮数越多越贴合业务
关联概念
来源与核对记录
S1Training Language Models to Follow Instructions with Human FeedbackOuyang et al. · 原始论文 · 查阅 2026-09-07
↗S2LoRA: Low-Rank Adaptation of Large Language ModelsHu et al. · 原始论文 · 查阅 2026-09-07
↗编辑核对:2026-09-07。本状态表示内容与来源已登记,不代表经过外部专家审稿。