Tag Archive

标签：GRPO

这里整理所有带有「GRPO」标签的文章，方便按主题快速回看。

GRPO

共 8 篇

论文精读 · 2026-10-22

TEV：用"先造世界再出题"造出第一份长时程 Agent 训练集，把稀疏奖励变成密集进度奖励

Adobe & UCLA 的 TEV 用"隐世界优先"合成方法构建了首个带密集进度奖励的长时程 Agent 训练集 TEV-GYM（1170 个环境、7 个领域），并用进度势能奖励塑形（PPRS）把 GRPO 在稀疏奖励下大面积"饿死"的问题修好了；27B 模型在 ALE-CM 上追平 GPT-6 Astra 和 Claude Opus 5 的 Pass@5。

LLM-Agent 长时程任务合成数据可验证奖励 RL reward-shaping GRPO latent-world

论文精读 · 2026-06-21

"ExpRL：把参考答案从 SFT 样本变成 RL 探索脚手架"

"详解 arXiv 2606.17024：ExpRL 如何用参考解答构造 dense reward，解决稀疏奖励 RL 在硬题上的探索覆盖不足问题。"

reinforcement-learning llm-reasoning mid-training expRL GRPO agentic-rl

主题归档 · 2026-06-21

GIGPO 与 HGPO：长轨迹 LLM Agent 强化学习里的“分组信用分配”

从 GRPO 到 GIGPO、HGPO，解释为什么长轨迹 Agent RL 需要从整条轨迹奖励走向分层、上下文一致的步级优势估计。

LLM Agent Reinforcement Learning GRPO GIGPO HGPO Credit Assignment

主题归档 · 2026-06-21

PPO 在 Agentic RL 中的应用与进展：从 RLHF 到长轨迹 Agent 训练

梳理 PPO 如何从 RLHF 的标准算法，演化到多轮工具使用、搜索、Web/GUI/代码 Agent 中的 turn-level、sequence-level、trajectory-level 训练框架，并分析它与 GRPO/GIGPO/HGPO 等新算法的关系。

PPO Agentic RL LLM Agent RLHF RLVR GRPO Credit Assignment Post-training

论文精读 · 2026-06-17

LUFFY 论文详解：Learning to Reason under Off-Policy Guidance

详解 arXiv:2504.14945 的 LUFFY：为什么纯 on-policy RLVR 会受限于模型初始能力，为什么朴素 SFT 又容易僵硬模仿，以及如何用 Mixed-Policy GRPO 与 policy shaping 在 off-policy 指导下学习推理。

LLM Reasoning RLVR Off-Policy GRPO LUFFY Reasoning RL

主题归档 · 2026-06-14

像给小白一样讲清楚：强化学习到底在解什么数学问题

从不动点方程、压缩映射、采样估计、分布漂移和三重耦合出发，用小白能听懂的方式解释强化学习为什么比监督学习难。

强化学习 Bellman方程不动点 RLHF GRPO 数学直觉

论文精读 · 2026-06-08

MiMo-7B 训练过程详解：一个 7B 推理模型是怎样从预训练到 RL 被“养出来”的

详细拆解小米 MiMo-7B 技术报告中的训练流程：推理导向预训练、MTP 架构、SFT 冷启动、可验证数学/代码 RL、test-difficulty reward、dynamic sampling 与 Seamless Rollout Engine。

MiMo-7B reasoning model pretraining reinforcement learning GRPO code RL

论文精读 · 2026-05-26

ECHO：Terminal Agents 如何“免费”学到世界模型

解读 Microsoft Research 论文 ECHO：把终端环境返回的 stdout、stderr、日志、文件内容等 observation token 也纳入训练损失，让失败轨迹也产生密集监督，从而在不增加 rollout 的情况下提升 terminal agent 的 RL 效率。

LLM Agent Agent RL World Model GRPO Terminal Agent Code Agent