#MOPD：把学生的成功与失败都变成老师的上下文——进展、边界与 Agent 时代的问题

一句话结论：MOPD（Multi-Rollout On-Policy Distillation）最重要的变化，不是“多采几条答案”，而是让教师在评价学生的一条轨迹时，同时看到同一道题下其他成功与失败的尝试，从而把孤立、容易误判的 token 监督变成带对照证据的监督。它推进了 OPD，但还没有解决长轨迹 Agent 的信用分配；随着研究进入多轮工具环境，核心矛盾已经变成：学生访问的状态越真实，教师在这些偏离状态上的指导反而可能越不可靠。

#阅读地图

本文回答五个问题：

1. MOPD 到底是什么，与普通 OPD、GRPO、best-of-N 有什么区别？
2. 为什么“成功 + 失败 peers”可能比只看一条 rollout 更有用？
3. 论文目前给出了什么证据，哪些结论仍不能夸大？
4. 2026 年 OPD 走向多轮 Agent 后，TCOD、SOD、ReOPD 分别暴露了什么新问题？
5. 对长轨迹 Agent、代码 Agent、model-based RL 和潜状态学习，下一步真正值得研究什么？

#1. 先把名字说清楚：这里的 MOPD 是什么？

本文讨论的 MOPD 指 2026 年 5 月论文 Multi-Rollout On-Policy Distillation via Peer Successes and Failures，全称是 Multi-Rollout On-Policy Distillation，即“多 rollout 在策略蒸馏”。

这个缩写容易混淆：别的文献里 MOPD 也可能表示 multi-objective 或 multi-teacher policy distillation。本文所有结论都针对 arXiv:2605.12652，不把其他同名缩写混进来。

先用人话拆开三个词：

• On-policy（在策略）：训练数据由当前学生自己生成，而不是只使用教师预先写好的标准答案。
• Multi-rollout（多次尝试）：对同一道题，不只让学生做一次，而是采样一组不同尝试。
• Distillation（蒸馏）：教师把更细的分布、评分或过程判断传给学生，使学生不只得到最终“对/错”。

普通 OPD 可以概括为：

学生先做；老师在学生实际走到的地方教它。

MOPD 则多加了一层：

学生对同一道题做多次；老师评价其中一次时，还能参考其他成功与失败的尝试。

#2. 为什么需要它：OPD 解决了分布问题，却没有自动解决教师诊断问题

#2.1 离线蒸馏的问题：老师只示范理想路线

传统推理蒸馏常见流程是：强教师生成正确答案或 CoT，学生对这些轨迹做 SFT。它便宜、稳定，但有一个结构性问题：

• 训练时学生看到的是教师走过的“干净前缀”；
• 部署时学生面对的是自己前面生成的内容，包括自己的错误；
• 一旦早期犯错，后续上下文就进入训练数据很少覆盖的区域。

这就是 exposure bias / state-distribution mismatch。DAgger、MiniLLM、GKD 等工作的共同直觉是：不能只在老师擅长的状态上教学生，也要在学生真的会走到的状态上教。

#2.2 OPD 的进步：学生在哪里犯错，教师就在哪里给密集信号

严格的 token-level OPD 通常包含两步：

1. 从当前学生策略采样轨迹；
2. 在学生访问到的前缀上查询教师分布，最小化某种 KL 或其他散度。

它兼具两类方法的优点：

• 像 RL 一样，数据来自当前策略；
• 像知识蒸馏一样，反馈可以细到 token，而不是只有最终 0/1 奖励。

但这里有一个常被忽略的误区：

学生访问到这个状态，不等于教师在这个状态上一定会教。

学生可能写出畸形前缀、做出错误工具调用，甚至把环境推入老师自己也没见过的状态。此时教师仍会输出概率，但概率“存在”不代表它“可靠”。

#2.3 单条 rollout 的信息不够：成功不等于每一步都好，失败也不等于每一步都错

只给教师看一条轨迹，会有两种典型误判：

• 对成功轨迹全盘模仿：它可能绕了远路、碰巧修复，甚至靠错误推理得到正确答案；
• 对失败轨迹全盘否定：它的前 90% 可能都是对的，只在最后计算或格式上出错。

最终 verifier 只告诉我们“这条轨迹成功/失败”，并没有告诉我们真正的分叉点在哪里。MOPD 试图补的，正是这个从结果到局部判断的证据缺口。

#3. MOPD 的核心：把同题多次尝试变成“近似反事实”

#3.1 方法直觉

对同一个 prompt，学生生成一组 rollout。根据 verifier，把它们分为成功集合与失败集合。教师在给某条学生轨迹提供监督时，不再只看这条轨迹，而是额外看到 peer context，例如：

• 只提供成功 peer；
• 或同时提供成功与失败 peer，并明确指出哪些结果通过、哪些失败。

成功 peer 提供“可行思路”的正证据，失败 peer 提供“看似合理但会失败的模式”的负证据。教师由此更容易判断某个 token 或步骤究竟是在推进正确方向，还是在复现已知错误。

#3.2 为什么它不只是“多采样”？

如果只是采样八条、选最好的做 SFT，那是 best-of-N / rejection sampling。MOPD 的额外主张是：其余尝试不只用于筛选，也进入教师的诊断上下文。

同一道题的不同 rollout 具有几个有利条件：

• 任务条件相同；
• 生成它们的学生策略相同或相近；
• 它们可能共享相似前缀；
• 局部选择不同，最终结果也不同。

这像一个不完美的对照实验：如果两条轨迹前面相近、在某处开始分叉，且一条成功一条失败，那么这个分叉比孤立轨迹中的任意 token 更值得关注。

我会把它称为近似反事实证据，而不是严格反事实。原因是两条自然采样的轨迹通常在多个位置同时不同，不能证明某一个 token 单独导致成败。

#3.3 MOPD 真正改进的是“教师信号的可识别性”

MOPD 不是给教师增加新的世界知识，而是给教师增加更好的诊断上下文：

• 只看失败 A：教师容易事后猜原因；
• 同时看成功 B 与失败 A：教师可以用 B 约束自己的判断；
• 再看另一个失败 C：教师能区分偶然错误与重复错误模式。

因此最精确的概括是：

MOPD 用同题 peers，把稀疏但可靠的结果证据，翻译成更可信的密集教师信号。

#4. 论文进展：目前证据支持什么？

MOPD 论文覆盖了竞争性编程、数学推理、科学问答和工具使用任务，并考察 self-teacher 与外部 teacher/student 两种设置。

#4.1 结果层面

论文报告：

• 在 AIME 2024/2025、HMMT 等数学任务上，MOPD 的 mean@8 整体优于基座与 SDPO；但并非每一列都超过 GRPO，例如 AIME 2025 上 GRPO 的 mean@8 略高于 MOPD。
• 在四类科学问答上，MOPD 均取得表中最好结果。
• 工具使用任务中，结果从基座的 59.11、GRPO 的 60.32、SDPO 的 63.45，提高到 MOPD 的 66.73。
• 论文报告相对 SDPO 的额外每步时间开销约为：LiveCodeBench 9.1%，QA-Chemistry 33.3%。

这些结果说明 peer context 不只是数学任务上的偶然技巧，至少在论文覆盖的几类可验证任务上具有一致增益。

#4.2 最关键的消融：成功和失败一起看，比只看成功更好

论文比较了不同 peer 组合。以 QA-Chemistry 为例：

在 LiveCodeBench 上，“2 成功 + 1 失败”也取得紧凑 peer 组合中的最好 mean@8。论文进一步分析教师分数与 verifier reward 的 Spearman、Kendall、pairwise accuracy、success AUC、Brier score 等关系，发现混合成功/失败 context 通常使教师信号与外部结果更一致。

这是 MOPD 最有价值的证据：失败不是单独拿来模仿，而是与成功一起构成对比语境。单独提供失败轨迹表现很差，恰好说明“失败数据有用”不能被简化成“多喂失败样本”。

#4.3 多样性没有在论文实验中坍缩

在 LiveCodeBench 的分析里，MOPD 相比 SDPO 提高了 Distinct-1、Distinct-2 和 AST Jaccard distance。也就是说，至少在该实验中，peer-conditioned signal 没有简单把代码输出压到单一模板，反而提高了词法和结构多样性。

这对 reverse-KL / 蒸馏常见的 mode collapse 担忧是一个积极信号，但它仍只是单一代码设置上的证据，不能推出所有开放式任务都不会坍缩。

#4.4 当前证据的边界

论文也报告了多随机种子下的标准差，科学问答上约为 ±1.6 到 ±2.8，说明提升总体存在，但训练尚未完全稳定。作者将其归因于 on-policy 采样的随机性，以及每轮 success/failure partition 的变化。

更重要的是，当前结果还不能证明：

1. MOPD 已解决长轨迹信用分配；
2. 它在固定总 rollout token、固定环境交互、固定教师查询预算下始终最优；
3. 终局失败中的具体错误步骤已被因果定位；
4. 方法能直接推广到没有可靠 verifier 的开放式 Agent 任务；
5. self-distillation 可以无限产生模型原本完全不具备的能力。

准确说，MOPD 是一个更会利用同题 trial-and-error 结构的 OPD 配方，而不是长程决策问题的终局答案。

#5. 2026 年的演化：从 MOPD 到多轮 Agent OPD

MOPD 主要强调“同题多次尝试之间的横向比较”。进入多轮 Agent 后，另一条问题链迅速出现：随着工具调用和环境状态不断变化，错误会跨轮累积，教师监督本身也越来越不可靠。

#5.1 TCOD：先别一上来就让小学生跑完整长轨迹

TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents 研究 ALFWorld、WebShop、ScienceWorld 等多轮环境。它发现 vanilla OPD 会出现 Trajectory-Level KL Instability：

• 学生早期动作出错；
• 后续环境状态与教师熟悉的状态越来越不同；
• student-teacher KL 随轨迹推进上升；
• 教师在偏离状态上的 token 监督变得不可靠；
• 训练成功率随之下降，甚至崩溃。

TCOD 的做法是时间课程学习：先训练短轨迹/较浅交互，再逐步扩展到长轨迹。论文在三类多轮 Agent benchmark 和四组 teacher-student pairing 上报告，相比 vanilla OPD 最高提升 18 个成功率点。

它回答的是：学生还没学会短程稳定决策时，不要直接把它暴露在完整长程误差链里。

#5.2 SOD：工具调用错了以后，不能继续等权相信 token 教师

SOD: Step-wise On-policy Distillation for Small Language Model Agents 聚焦 tool-integrated reasoning。它观察到错误工具调用会改变后续观测，造成级联偏离；此后教师对长上下文给出的 token 分布可能不再值得同等信任。

SOD 根据每一步的 student-teacher divergence 自适应重加权蒸馏强度：

• 对齐良好的步骤保留密集教师指导；
• 偏离过大的步骤减弱潜在误导信号；
• 同时结合 GRPO 的结果优化。

论文报告，相比次优基线的相对平均增益在 0.6B、1.7B 学生上最高分别为 20.86% 和 18.50%；但实验集中于 Qwen3 模型家族，跨模型泛化仍待验证。

它回答的是：不是每一个 student-visited state 都同样适合蒸馏。

#5.3 ReOPD：能否不在线执行环境，还保留 OPD 的主要收益？

2026 年 7 月的 Multi-Turn On-Policy Distillation with Prefix Replay 提出 ReOPD。注意，这里的论文标题不是 MOPD；它讨论的是多轮 OPD，并在一个多教师设置中也使用过 MOPD 表示 multi-teacher OPD，缩写再次发生冲突。

ReOPD 使用预先收集的教师轨迹作为 prefix replay：

• 回放教师记录过的交互前缀与 observation；
• 在选定步骤让学生行动；
• 教师提供密集监督；
• 学生训练时不再真正调用工具环境。

论文提出一个很关键的 prefix trap：

• 前缀越像学生自己生成的，越贴近学生部署分布；
• 但前缀越偏离教师熟悉区域，教师目标越可能不可靠。

因此不能只追求“更 on-policy”，而要同时平衡：

1. student occupancy mismatch；
2. teacher reliability error。

ReOPD 用偏向较早、低偏移步骤的衰减采样来做折中。论文报告在数学 + Python 和搜索环境中，学生训练期间工具调用为零，每个 rollout 至少比在线 OPD 快 4 倍，并保持或改善 OPD 精度；若把额外教师 prefix 采样成本也计入，仍报告超过 2 倍效率。

它回答的是：多轮 OPD 的瓶颈不仅是算法稳定性，还有真实环境交互成本。

#5.4 四项工作的统一问题链

这条演化说明，OPD 已经从“是否在学生轨迹上训练”推进到更难的问题：

学生访问到的哪些状态值得学习？教师在哪些状态上可靠？应该用什么粒度教？这些状态又该如何低成本获得？

#6. MOPD 仍未解决的关键问题

#6.1 “多 rollout 的收益”与“peer-conditioned 算法收益”仍需更严格拆开

多采样天然提高至少找到一条成功轨迹的概率。一个强基线是：使用同样多的 rollout，只挑成功样本做 rejection-sampled SFT，或在相同 token/教师查询/墙钟预算下比较。

论文已经做了 peer 组合与时间开销分析，但未来仍应统一报告：

• 学生生成 token 数；
• 教师输入/输出或 logit 计算量；
• verifier 调用数；
• 环境 step / tool call；
• GPU 小时与墙钟时间；
• 单位成本成功率。

否则“多看几条以后更强”和“利用 peers 的方式更聪明”很难彻底分离。

#6.2 全成功与全失败组怎么办？

MOPD 最有信息的情况是同组同时出现成功与失败。但：

• 题太容易时，可能全成功；
• 题太难时，可能全失败；
• 弱学生尤其容易在困难题上一个成功 peer 都找不到。

这意味着 MOPD 天然偏好“学生能力边界附近”的题目。它可能隐式实现了一种 curriculum，但也可能完全忽略真正困难的区域。

一个重要研究问题是：能否把 group 分成 mastered、learnable boundary、repairable failure、unrepairable failure、productive divergence，并为不同组路由不同教师服务？

#6.3 最终失败不等于整条轨迹都应被否定

MOPD 让失败成为教师上下文，而不是直接负向训练，这已经比粗暴惩罚整条失败轨迹更合理。但 peers 仍只是近似反事实：

• 多处同时分叉；
• 失败可能来自最后一步；
• 成功轨迹可能有侥幸动作；
• 在 Agent 环境中，工具噪声也会造成失败。

真正的长轨迹信用分配需要定位：哪个 belief、子目标、行动或状态转移真正改变了后续可达性，而不是只比较文本 token。

#6.4 教师可靠性不是常数

OPD 经常把 teacher 当成固定金标准，但教师在学生异常前缀上会失真。当前工作常用以下代理量控制信号：

• teacher entropy；
• student-teacher KL；
• PPL；
• 最终 correctness；
• 轨迹深度；
• special-token / support overlap。

它们都只是“教师可能可靠”的代理，并不直接回答：这条反馈能否让学生学会并迁移？可靠性之外，还需要建模 student learnability 与 repairability。

#6.5 token KL 与任务成功并不等价

教师更偏好的 token，不一定提高最终成功率，尤其在代码和 Agent 中：

• 多种不同 patch 都可能通过测试；
• 不同工具顺序可能等价；
• 一个探索步骤短期不推进目标，但能排除关键假设；
• 高 KL 的学生轨迹可能是正确而新颖的“productive divergence”。

如果 OPD 只追求 token 分布贴近教师，反而可能压制学生自己的有效解法。MOPD 的多样性结果是积极信号，但尚不足以解决这一机制问题。

#6.6 开放式任务缺少可靠 verifier

数学、代码和结构化工具调用有自动答案或测试，成功/失败分组比较可靠。真实网页操作、科研 Agent、复杂软件工程和现实决策往往只有噪声代理指标。

当 verifier 误判时，失败 peer 会给教师提供错误锚点；当 teacher 同时兼任 judge、critic 和蒸馏源时，还可能产生自我偏见放大和 reward hacking。

#6.7 On-policy 到底有多“on”？

现实系统会用异步 actor、replay buffer、旧 checkpoint 数据和筛选后的轨迹。TCOD 甚至使用 staleness filter；ReOPD 则主动走向 off-environment replay。

这不是坏事，但论文应该透明报告：

• rollout policy 与 train policy 相差多少版本；
• buffer 中数据多旧；
• 筛选率是多少；
• 是否做 importance correction；
• 成本降低换来了多少分布偏差。

“越 on-policy 越好”并不是定律。多轮场景已经表明，太贴近学生的坏状态，可能反而让教师失效。

#7. 对 LLM Agent 与 model-based RL 的启发

#7.1 MOPD 不是 model-based RL，但它指出了 model-based 方法可以介入的位置

MOPD 本身没有学习环境动力学模型，也没有在世界模型里规划，因此不应直接归类为 model-based RL。它更接近 on-policy imitation / policy distillation / search-result compression。

但它留下了一个非常 model-based 的问题：自然采样的 peers 只是松散对照，能否在同一决策状态上主动分支，得到更可信的局部反事实？

一个可能的升级路线是：

1. 维护 Agent 的决策相关潜状态或 belief state；
2. 在高不确定、高影响、不可逆的节点创建状态快照；
3. 从相同状态分支多个候选行动；
4. 用真实环境或高可信模型验证状态转移；
5. 让教师基于“状态—行动—后果”而不是纯文本轨迹提供监督；
6. 蒸馏 belief 更新、行动选择、转移预测与失败恢复策略。

这可以称为 State-Conditioned Branch Distillation：把 MOPD 的“同一个 prompt”升级为“同一个决策相关状态”。

#7.2 潜状态是多轮 OPD 缺失的中间层

多轮 Agent 的错误并不都属于 token 错误，至少可以分为：

• belief error：误解当前环境；
• memory error：遗漏先前关键信息；
• planning error：状态理解正确但行动选择错误；
• transition error：错误预测工具/行动后果；
• execution error：计划正确但调用格式或参数错误。

把这些全部压缩成一个 token KL，会混淆机制。一个 decision-sufficient latent state 应至少服务于三件事：

1. 判断不同轨迹片段是否处于可比较状态；
2. 识别真正改变决策的关键变量；
3. 压缩冗长工具日志，同时保留可回溯的原始证据。

重要边界是：潜状态可用于索引和对齐，但不能无验证地取代真实环境证据，否则只是把 teacher hallucination 换成 state encoder hallucination。

#7.3 从 teacher reliability 进一步走向 student learnability

当前 OPD 方法常问：“教师在这个状态上靠谱吗？”下一步更值得问：

即便教师正确，这个学生在当前阶段能学会吗？

一种 learnability-aware OPD 可以把学生状态划分为：

• 已掌握：保留学生已有正确模式，避免过度蒸馏；
• 可学习边界：最值得花教师预算；
• 可修复失败：需要 critique、回溯或局部 teacher rollout；
• 不可修复偏离：应 reset/backtrack，而不是继续 token KL；
• 正确但与教师不同：做 self-distillation，保护 productive divergence。

可能的评分信号包括 support overlap、teacher entropy、student uncertainty、修复成功率、outcome sensitivity、跨教师一致性与局部反事实结果。

#8. 为什么代码 Agent 是最适合验证下一步的试验场？

代码 Agent 的状态复杂，但比开放网页或机器人更容易控制和验证：

• Git commit、diff、文件系统、依赖、测试结果都可快照；
• 能从同一 repository state 分叉尝试不同命令或 patch；
• 编译、单元测试、静态分析能验证教师判断；
• 错误可以回滚，副作用相对可控；
• “高 student-teacher KL 但测试通过”的 productive divergence 可直接识别。

一个有价值的研究原型可以这样做：

1. 用当前代码 Agent 在同一 issue 上生成多条轨迹；
2. 不只按 prompt 分组，而按 repository latent state / test-failure state 对齐；
3. 在关键状态创建 Git/container snapshot；
4. 分支执行不同调查动作、测试或 patch；
5. 评价目标进展、信息增益、状态污染、回滚成本和最终测试；
6. 只在“可学习边界”和“可修复分叉点”请求强教师；
7. 分别蒸馏调查策略、patch 策略与恢复策略。

评价指标也不应只有 pass rate，还应包括：

• 为定位 bug 执行了多少无效工具调用；
• 第一次失败后恢复了多少步；
• 是否重复相同错误；
• diff 是否最小、是否污染无关模块；
• 单位教师 token / 环境 step 带来的成功率提升；
• 未见 repository、未见工具、更长 horizon 上的泛化。

这与用户关心的长轨迹 Agent、model-based RL、潜空间推理和 self-evolving code agent 正好汇合。

#9. 我的研究判断

#判断一：MOPD 的价值在“比较上下文”，不在“rollout 越多越好”

它最有启发性的地方，是把同题 trial-and-error 组织成教师的诊断证据。继续盲目增大 N 的边际价值可能很快下降；论文自身也观察到，紧凑的“2 成功 + 1 失败”在 LiveCodeBench 上并不逊于塞入全部 peers。

下一步应该研究选择哪几条 peer、在哪个分叉点比较、何时值得请求教师，而不是固定每题多采样。

#判断二：Agent OPD 的核心不是“更长上下文”，而是状态漂移

多轮 Agent 难，不只是日志长。更根本的是：行动会改变环境，后续 token 条件在一个不断变化的外部状态上。TCOD、SOD、ReOPD 从不同角度都指向同一事实：

单轮里看似合理的 token-level OPD，到了多轮环境会遇到 occupancy、teacher support 和 environment cost 的三重错位。

#判断三：长期突破点可能是“状态条件下的主动分支 + 决策充分蒸馏”

最值得做的不是蒸馏每个 token，而是找到真正改变未来的少数决策：计划选择、子目标切换、工具调用、belief 修正、停止/继续、回滚/重试。

让世界模型或真实环境在这些点做局部分支，再蒸馏 decision-sufficient state/action signal，可能比对完整长轨迹做均匀 KL 更符合 Agent 学习本质。

#判断四：必须把教师当成动态服务，而不是永远正确的 logits 源

教师可以提供 logits、critique、rubric、替代 rollout、最早错误定位、状态转移预测或 verifier。不同学生状态需要不同反馈：

• 轻微偏离：token KL；
• 关键决策：对比多个 action；
• 工具错误：基于执行证据的 step critique；
• 不可修复状态：建议 backtrack/reset；
• 正确但新颖：保留学生模式，不强行拉回教师。

这比统一最小化 student-teacher distribution distance 更有可能扩展到长程 Agent。

#10. 结论

MOPD 的推进可以用一句话概括：

普通 OPD 让教师在学生走过的地方教学；MOPD 进一步让教师看到学生在同一道题上的多次成功与失败，从比较中形成更可信的过程信号。

论文在代码、数学、科学问答和工具使用任务上提供了积极结果，并通过 peer 组合、教师信号校准和多样性分析支持“成功 + 失败的对照上下文”确有价值。但它仍依赖多 rollout 和 verifier，仍面对训练方差、计算成本、全失败组、教师偏差与粗粒度归因；不能据此宣称长轨迹信用分配已经解决。

2026 年的 TCOD、SOD 与 ReOPD 表明，研究已经进入下一阶段：多轮 Agent 的 OPD 不再只是“在哪些文本上蒸馏”，而是“在哪些状态上、以什么粒度、在教师仍可靠且学生仍可学的区域蒸馏”。

对下一步，我最看好的主线是：从同 prompt 的 multi-rollout comparison，走向同潜状态的 branch comparison；从均匀 token KL，走向 decision-sufficient、repairability-aware 的层级监督；从真实环境无限在线采样，走向模型想象与真实验证结合的主动分支。这可能是 OPD 与 model-based RL、潜空间推理、长轨迹 Agent 真正交汇的地方。

#参考文献

1. Yu et al. Multi-Rollout On-Policy Distillation via Peer Successes and Failures, 2026.
2. Agarwal et al. On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes / GKD, ICLR 2024.
3. Gu et al. MiniLLM: Knowledge Distillation of Large Language Models, ICLR 2024.
4. Ko et al. DistiLLM: Towards Streamlined Distillation for Large Language Models, 2024.
5. Wang et al. TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents, 2026.
6. Zhong et al. SOD: Step-wise On-policy Distillation for Small Language Model Agents, 2026.
7. Liao et al. Multi-Turn On-Policy Distillation with Prefix Replay, 2026.
8. Ross et al. A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning (DAgger), 2011.
9. Kim & Rush. Sequence-Level Knowledge Distillation, 2016.