主题归档 · 2026-06-17
以 LUFFY 为锚点，梳理 reasoning SFT 中 teacher trace 与 student policy 分布错配的问题，以及后续沿 RLVR、OPD、backtracking、agent step-wise distillation 等方向形成的研究现状。
主题归档 · 2026-05-16
系统梳理大模型 On-Policy Distillation 的定义、经典工作、发展逻辑、方法谱系与当前开放问题。
主题归档 · 2026-05-04
解读 Thinking Machines 的 On-Policy Distillation 博客，以及 arXiv:2604.13016、2603.25562、2601.18734、2602.12125 四篇工作，讲清 OPD、SFT 冷启动、teacher-supported region、OPSD、自蒸馏、多专家蒸馏和 log-prob shift 背后的技术逻辑。