标签：RLHF

梳理 PPO 如何从 RLHF 的标准算法，演化到多轮工具使用、搜索、Web/GUI/代码 Agent 中的 turn-level、sequence-level、trajectory-level 训练框架，并分析它与 GRPO/GIGPO/HGPO 等新算法的关系。

系统梳理 DPO 从 RLHF/PPO 替代方案到偏好优化基础组件的发展脉络，分析 IPO、KTO、ORPO、SimPO、Step-DPO、Online DPO 等后续路线，以及 DPO 在 reasoning 与 LLM Agent 场景中的核心瓶颈。

系统梳理 LLM 指令遵循从 prompt、多任务指令微调、RLHF、合成指令数据，到复杂约束评测、指令层级、prompt injection 与 agent 行动合规的发展脉络，并分析当前未解问题与研究机会。

从不动点方程、压缩映射、采样估计、分布漂移和三重耦合出发，用小白能听懂的方式解释强化学习为什么比监督学习难。