RLHF（基于人类反馈的强化学习）

让人比较模型回答，再把这些偏好变成奖励信号，引导模型更常生成被偏好的结果。

典型 RLHF 先训练奖励模型拟合人类偏好，再用强化学习优化策略，同时约束它不要过度偏离原模型。

收集同一提示下的回答排序，训练 Reward Model；策略模型通过 PPO 等算法最大化奖励，并用 KL 惩罚控制漂移。

标注者构成、偏好指南、奖励投机和任务覆盖会直接改变模型行为，需要独立评测少数群体与边界场景。