DPO（Direct Preference Optimization，直接偏好优化）

直接用“更喜欢的回答”和“较差回答”训练模型，不必先单独训练奖励模型再跑复杂强化学习。

DPO 通过对偏好概率模型的重新参数化，将带 KL 约束的偏好优化转化为策略模型上的分类式目标。

训练同时比较 chosen 与 rejected 回答相对参考模型的对数概率差，使模型提高偏好答案的相对概率。

DPO 简化了流程，但仍依赖偏好数据质量、参考模型、温度系数和离线评测，并非自动优于所有 RLHF 方案。