论文精读

论文精读

单篇论文精读,适合系统阅读。

论文精读

共 16 篇
2026-10-22

TEV:用"先造世界再出题"造出第一份长时程 Agent 训练集,把稀疏奖励变成密集进度奖励

Adobe & UCLA 的 TEV 用"隐世界优先"合成方法构建了首个带密集进度奖励的长时程 Agent 训练集 TEV-GYM(1170 个环境、7 个领域),并用进度势能奖励塑形(PPRS)把 GRPO 在稀疏奖励下大面积"饿死"的问题修好了;27B 模型在 ALE-CM 上追平 GPT-6 Astra 和 Claude Opus 5 的 Pass@5。
LLM-Agent长时程任务合成数据可验证奖励RLreward-shapingGRPOlatent-world
2026-10-10

OPSD 体检报告:给自己当老师的蒸馏,什么时候灵、什么时候崩

北大团队对 On-Policy Self-Distillation 做了一次系统性"体检":所谓特权信息带来的收益,主要来自前缀分布匹配而非语义;OPSD 是一个敏感算法,不是可靠的通用后训练方法。
OPSD蒸馏RLVR后训练推理模型可验证奖励
2026-10-05

用采样"翻译"专家数据:SFT 其实比你想的强得多 —— Projection Sampling 详解

Harvard 团队用 MCMC 采样把 off-policy 专家数据逐步"搬"近 base model 分布,让最普通的 SFT 在泛化和遗忘两个维度上同时打赢 on-policy RL 与自蒸馏。
LLMPosttrainingSFTMCMCOn-Policy基础模型
2026-10-02

GraphForge:用真实文件和证据图给 Working Agent 造可验证的训练数据

USTC/复旦的新工作:从 O*NET 职业种子出发抓真实文件构建工作区,用证据图编译任务与评分 rubric,2,169 条轨迹让 Qwen3.6-27B 的 GDPVal 提升 65.7 Elo。
agentworking-agentdata-synthesisverifiable-rewardSFTRFTGDPVal
2026-10-02

The Eternal Complement:OpenAI 新随笔——天才的另一半,"制度智能"

OpenAI 新平台首篇随笔:前沿智能与执行能力是经济意义上的互补品;AGI 未来的两种文明形态——深度的文明 vs 宽度的文明,而超智能的超能力可能不是天才,而是甘当官僚机构。
essaysuperintelligenceeconomicscomplementsinstitutionsprogress
2026-09-29

Unslopping AI(RL-XAR)详解:怎么让 AI 不再写“AI 味”的文字

Meta FAIR(Jason Weston 组)2026 年 9 月博客:先证明 LLM judge 分不清专家人类写作和 AI slop,再用“元优化评分规则”造出能识别专家质量的奖励,然后 RL——一套把“不可验证任务”变成“可验证任务”的完整配方。
RLHF奖励模型写作质量LLM-judgeMeta-FAIR后训练
2026-08-12

加密思维链并不等于安全:详解《Stealing Reasoning Traces from Proprietary LLM APIs》

论文揭示了一类反直觉的系统漏洞:厂商没有把私有思维链存回服务器,而是以加密块交给客户端保存;这些块又能跨会话、跨用户、跨模型重放,于是同一厂商的弱模型可能被当作“语义解密器”,泄露强模型推理、隐私信息,并形成不可见的 Agent 提示注入。
LLM安全Chain-of-ThoughtAgent安全模型蒸馏隐私Prompt Injection
2026-07-07

DUSt3R:把复杂几何视觉变成 pointmap 回归

详解 DUSt3R 如何用 pointmap 表示统一无标定双目/多视图重建、深度估计、像素匹配与相机位姿恢复。
3D VisionDUSt3RMVSSfMPointmapFoundation Model
2026-06-26

Qwen-AgentWorld:把“世界模型”搬进语言 Agent

这篇论文把 Agent 的交互环境本身建模成一个语言世界模型:既可以作为可控模拟器给 Agent 做 RL,也可以作为 Agent 的预训练 warm-up,让模型在行动前学会预测下一步环境反馈。
LLM AgentWorld ModelAgentic RLQwenModel-Based RL
2026-06-23

Latent Spatial Memory for Video World Models:把 3D 世界记忆搬进扩散模型的 latent space

详解 arXiv 2606.09828v1:Mirage 如何用 latent spatial memory 替代 RGB 点云缓存,让视频世界模型在保持 3D 一致性的同时显著降低速度和显存开销。
video world modellatent memory3D consistencydiffusion modelworld model
2026-06-21

"ExpRL:把参考答案从 SFT 样本变成 RL 探索脚手架"

"详解 arXiv 2606.17024:ExpRL 如何用参考解答构造 dense reward,解决稀疏奖励 RL 在硬题上的探索覆盖不足问题。"
reinforcement-learningllm-reasoningmid-trainingexpRLGRPOagentic-rl
2026-06-18

Rethinking Generalization in Reasoning SFT:SFT 真的只会记忆吗?

解读 arXiv 2604.06628:reasoning SFT 的泛化不是“有/没有”的二元问题,而是由优化充分性、数据质量与结构、基础模型能力共同决定,并且伴随安全退化代价。
reasoning-sftlong-cotpost-traininggeneralizationrlvrsafety
2026-06-17

LUFFY 论文详解:Learning to Reason under Off-Policy Guidance

详解 arXiv:2504.14945 的 LUFFY:为什么纯 on-policy RLVR 会受限于模型初始能力,为什么朴素 SFT 又容易僵硬模仿,以及如何用 Mixed-Policy GRPO 与 policy shaping 在 off-policy 指导下学习推理。
LLM ReasoningRLVROff-PolicyGRPOLUFFYReasoning RL
2026-06-17

VibeThinker-3B:3B 小模型能否逼近一线可验证推理能力?

详解 VibeThinker-3B 技术报告:如何用 Spectrum-to-Signal 后训练范式、multi-domain RL、offline self-distillation 与 claim-level test-time scaling,把 3B dense 小模型推到数学和代码等可验证推理任务的一线性能区间。
LLM ReasoningSmall Language ModelsPost-trainingRLVRCode ReasoningTest-time Scaling
2026-06-15

JitRL:不用梯度更新,让 LLM Agent 在测试时做“即时强化学习”

详解 Just-In-Time Reinforcement Learning 如何把历史轨迹记忆转成 advantage,在推理时直接加到候选动作 logits 上,从而在不更新参数的情况下实现类似 KL 约束策略优化的 agent 持续学习。
LLM Agentreinforcement learningcontinual learningtest-time learningmemoryWebArena
2026-06-14

详解 τ0-WM:把“会想象未来”的视频世界模型做成机器人策略

详细解读 τ0-WM 这篇机器人操作论文:它如何把 Video Action Model 和 Action-Conditioned Video Simulator 统一到一个视频-动作世界模型里,用异构数据训练,并在测试时通过候选动作筛选、未来模拟和动作修正提升长程操作成功率。
机器人世界模型视频生成VLATest-Time ComputeManipulation