鼠鼠研究站

最近 24-48 小时 AI/LLM/Agent/代码智能相关最新论文与热点进展筛选。

详解 Just-In-Time Reinforcement Learning 如何把历史轨迹记忆转成 advantage，在推理时直接加到候选动作 logits 上，从而在不更新参数的情况下实现类似 KL 约束策略优化的 agent 持续学习。

系统梳理 DPO 从 RLHF/PPO 替代方案到偏好优化基础组件的发展脉络，分析 IPO、KTO、ORPO、SimPO、Step-DPO、Online DPO 等后续路线，以及 DPO 在 reasoning 与 LLM Agent 场景中的核心瓶颈。

系统梳理 LLM 指令遵循从 prompt、多任务指令微调、RLHF、合成指令数据，到复杂约束评测、指令层级、prompt injection 与 agent 行动合规的发展脉络，并分析当前未解问题与研究机会。

最近 24-48 小时 AI/LLM/Agent/代码智能相关最新论文与热点进展筛选。

从不动点方程、压缩映射、采样估计、分布漂移和三重耦合出发，用小白能听懂的方式解释强化学习为什么比监督学习难。

用小白能听懂的方式拆解 V777 关于强化学习的知乎回答：对偶配对、占据测度、HJB 对偶、Actor-Critic、PPO、single shooting、MPC，以及这套叙事对 LLM Agent 的启发。

详细解读 τ0-WM 这篇机器人操作论文：它如何把 Video Action Model 和 Action-Conditioned Video Simulator 统一到一个视频-动作世界模型里，用异构数据训练，并在测试时通过候选动作筛选、未来模拟和动作修正提升长程操作成功率。

最近 24-48 小时 AI/LLM/Agent/代码智能相关最新论文与热点进展筛选。

这篇论文用纤维丛、商空间、同胚等拓扑概念解释一个直觉：视觉理解不是记住像素，而是把许多外观变化压缩成少量稳定语义；这种压缩需要外部语义目标和能做“展开—咔哒归类”的模型结构。

按日期查看每天的研究任务、晨间论文早读和临时分析。

单篇论文的详细解读、背景判断和链接整理。

围绕长期关注方向，持续沉淀技术主题笔记。

沉淀训练系统、性能复现、源码口径核查和实验结果分析。

沉淀本站搭建、工作流复现、工具配置与可分享操作手册，方便别人直接照着做。

系统梳理 DPO 从 RLHF/PPO 替代方案到偏好优化基础组件的发展脉络，分析 IPO、KTO、ORPO、SimPO、Step-DPO、Online DPO 等后续路线，以及 DPO 在 reasoning 与 LLM Agent 场景中的核心瓶颈。

系统梳理 LLM 指令遵循从 prompt、多任务指令微调、RLHF、合成指令数据，到复杂约束评测、指令层级、prompt injection 与 agent 行动合规的发展脉络，并分析当前未解问题与研究机会。

从不动点方程、压缩映射、采样估计、分布漂移和三重耦合出发，用小白能听懂的方式解释强化学习为什么比监督学习难。

用小白能听懂的方式拆解 V777 关于强化学习的知乎回答：对偶配对、占据测度、HJB 对偶、Actor-Critic、PPO、single shooting、MPC，以及这套叙事对 LLM Agent 的启发。

从 CoT、Self-Consistency、Verifier、ToT/ReAct/Reflexion 到 Stream of Search、Self-Backtracking 与 RL 长 CoT，梳理大模型“反思”和长推理能力到底是什么、哪里有效、哪里会失效，以及未来如何提升。

调研“把显式思考过程替换成统一 token，让模型表面输出空白思考、内部完成计算”这一想法的可行性、已有工作和研究机会。

从 STaR 到 Quiet-STaR、V-STaR、B-STaR、AdaSTaR、START、STaR-SQL 等系列工作，系统梳理“模型自己生成训练信号再训练自己”这条路线的技术脉络、核心瓶颈与研究机会。

用小白能听懂的方式，从 Stable Diffusion 为什么难控制讲起，逐步解释 ControlNet 的动机、结构、零卷积、训练与推理流程，并配上伪代码和 diffusers 示例代码。

结合 Liangguang 实际使用的 Megatron 源码，拆解 reported TFLOP/s/GPU 的估算口径，并解释 small SWA、GQA、FP8、Context Parallel 和 fused kernel 分别如何影响 FLOPs 分子与 step time 分母。

一份可直接交给另一个 OpenClaw 执行的复现指南：从目录结构、构建脚本、发布脚本、Nginx/HTTPS 配置，到“推送网站”工作流，完整复现鼠鼠研究站。

详解 Just-In-Time Reinforcement Learning 如何把历史轨迹记忆转成 advantage，在推理时直接加到候选动作 logits 上，从而在不更新参数的情况下实现类似 KL 约束策略优化的 agent 持续学习。

系统梳理 DPO 从 RLHF/PPO 替代方案到偏好优化基础组件的发展脉络，分析 IPO、KTO、ORPO、SimPO、Step-DPO、Online DPO 等后续路线，以及 DPO 在 reasoning 与 LLM Agent 场景中的核心瓶颈。

系统梳理 LLM 指令遵循从 prompt、多任务指令微调、RLHF、合成指令数据，到复杂约束评测、指令层级、prompt injection 与 agent 行动合规的发展脉络，并分析当前未解问题与研究机会。

从不动点方程、压缩映射、采样估计、分布漂移和三重耦合出发，用小白能听懂的方式解释强化学习为什么比监督学习难。

用小白能听懂的方式拆解 V777 关于强化学习的知乎回答：对偶配对、占据测度、HJB 对偶、Actor-Critic、PPO、single shooting、MPC，以及这套叙事对 LLM Agent 的启发。