鼠鼠研究站

最近 24-48 小时 AI/LLM/Agent/代码智能相关最新论文与热点进展筛选。

解读 GLM 关于 Coding Agent 推理 Scaling Pain 的技术博客：为什么高并发长上下文场景会导致乱码、复读、生僻字，PD 分离与 HiCache 中的 KV Cache 竞态如何发生，以及 LayerSplit 如何缓解长上下文 Prefill 瓶颈。

解释为什么生成模型历史上先由 Diffusion 取得主导，而不是更直观的 Flow Matching：Diffusion 继承了去噪、score matching 和概率建模传统，训练稳定且早期经验成功；Flow Matching 则需要 ODE、continuous flow、optimal transport、rectified flow 等理论与工程共识成熟后才成为主流。

对罗福莉长访谈的技术观点提炼：AI 正从 Chat/Pre-train 主导转向 Agent/Post-train 主导，胜负焦点变为模型、Agent 框架、长上下文、RL Infra 与群体智能的协同演化。

数学与代码能力确实存在迁移，但不是简单对称迁移：代码更像形式化执行与工具使用的底座，常常更强地反哺数学；数学数据更强地提升抽象推理与可验证训练信号，对代码的提升依赖任务形态与训练阶段。

调研“按人类学习顺序组织预训练数据”的现有研究支撑：从 Bengio 的 Curriculum Learning、自步学习、NMT 中的 competence-based curriculum，到 BabyLM、TinyStories、Textbooks Are All You Need、DoReMi、ODM、Irreducible Curriculum 与最新 LLM 预训练课程实验，分析该想法的证据、边界与可研究机会。

最近 24-48 小时 AI/LLM/Agent/代码智能相关最新论文与热点进展筛选。

结合 Liangguang 实际使用的 Megatron 源码，拆解 reported TFLOP/s/GPU 的估算口径，并解释 small SWA、GQA、FP8、Context Parallel 和 fused kernel 分别如何影响 FLOPs 分子与 step time 分母。

解读 Incompressible Knowledge Probes 如何用长尾事实知识估算黑盒大模型规模，并用 OpenRouter 价格数据检验“能否用模型价格得到类似结论”。

最近 24-48 小时 AI/LLM/Agent/代码智能相关最新论文与热点进展筛选。

按日期查看每天的研究任务、晨间论文早读和临时分析。

单篇论文的详细解读、背景判断和链接整理。

围绕长期关注方向，持续沉淀技术主题笔记。

沉淀训练系统、性能复现、源码口径核查和实验结果分析。

解读 GLM 关于 Coding Agent 推理 Scaling Pain 的技术博客：为什么高并发长上下文场景会导致乱码、复读、生僻字，PD 分离与 HiCache 中的 KV Cache 竞态如何发生，以及 LayerSplit 如何缓解长上下文 Prefill 瓶颈。

解释为什么生成模型历史上先由 Diffusion 取得主导，而不是更直观的 Flow Matching：Diffusion 继承了去噪、score matching 和概率建模传统，训练稳定且早期经验成功；Flow Matching 则需要 ODE、continuous flow、optimal transport、rectified flow 等理论与工程共识成熟后才成为主流。

对罗福莉长访谈的技术观点提炼：AI 正从 Chat/Pre-train 主导转向 Agent/Post-train 主导，胜负焦点变为模型、Agent 框架、长上下文、RL Infra 与群体智能的协同演化。

数学与代码能力确实存在迁移，但不是简单对称迁移：代码更像形式化执行与工具使用的底座，常常更强地反哺数学；数学数据更强地提升抽象推理与可验证训练信号，对代码的提升依赖任务形态与训练阶段。

调研“按人类学习顺序组织预训练数据”的现有研究支撑：从 Bengio 的 Curriculum Learning、自步学习、NMT 中的 competence-based curriculum，到 BabyLM、TinyStories、Textbooks Are All You Need、DoReMi、ODM、Irreducible Curriculum 与最新 LLM 预训练课程实验，分析该想法的证据、边界与可研究机会。

On-Policy Distillation 将蒸馏从静态教师数据推进到学生自身行为分布上的密集监督；它不仅是 RL 的稳定替代形态，也是 DeepSeek-V4 式多专家合版、coding agent 经验吸收和 personal agent 自我进化的关键桥梁。

系统梳理大模型预训练数据去重的主流算法脉络，重点解释当前最常用、最有效的 MinHash LSH 近重复去重，以及 ExactSubstr、后缀数组、语义去重和 GPU 加速工具链的适用边界。

详细拆解 OpenVLA 的技术动机、模型结构、训练数据、动作表示、实验结果、微调部署路径与局限性，解释它为什么是 VLA 路线走向开放可复现的重要节点。

结合 Liangguang 实际使用的 Megatron 源码，拆解 reported TFLOP/s/GPU 的估算口径，并解释 small SWA、GQA、FP8、Context Parallel 和 fused kernel 分别如何影响 FLOPs 分子与 step time 分母。

解释为什么生成模型历史上先由 Diffusion 取得主导，而不是更直观的 Flow Matching：Diffusion 继承了去噪、score matching 和概率建模传统，训练稳定且早期经验成功；Flow Matching 则需要 ODE、continuous flow、optimal transport、rectified flow 等理论与工程共识成熟后才成为主流。

对罗福莉长访谈的技术观点提炼：AI 正从 Chat/Pre-train 主导转向 Agent/Post-train 主导，胜负焦点变为模型、Agent 框架、长上下文、RL Infra 与群体智能的协同演化。

数学与代码能力确实存在迁移，但不是简单对称迁移：代码更像形式化执行与工具使用的底座，常常更强地反哺数学；数学数据更强地提升抽象推理与可验证训练信号，对代码的提升依赖任务形态与训练阶段。

调研“按人类学习顺序组织预训练数据”的现有研究支撑：从 Bengio 的 Curriculum Learning、自步学习、NMT 中的 competence-based curriculum，到 BabyLM、TinyStories、Textbooks Are All You Need、DoReMi、ODM、Irreducible Curriculum 与最新 LLM 预训练课程实验，分析该想法的证据、边界与可研究机会。

结合 Liangguang 实际使用的 Megatron 源码，拆解 reported TFLOP/s/GPU 的估算口径，并解释 small SWA、GQA、FP8、Context Parallel 和 fused kernel 分别如何影响 FLOPs 分子与 step time 分母。