[2026-10-04] Self-Evaluating Recursive Agents
SERA 训练同一个 Qwen3-4B 模型拆任务、执行并写评分标准。实验表明，训练评价能力需要与采用这些评价的执行奖励配合。本文沿真实合成任务讲清三种训练、最终验收、交互预算和关键负结果。
淡水鱼的蔚蓝之海
课程笔记、踩坑记录，还有一些摸鱼和日常。
复仇者不折镆干。虽有忮心，不怨飘瓦。
[2026-02-12] On-Policy Context Distillation for Language Models
把历史任务提炼成经验，只在训练时交给模型的冻结副本；正在学习的模型自己尝试，再向这份带经验的判断靠近。本文拆解经验生成、筛选、训练损失和文本游戏评测，也指出按测试成绩挑训练版本的限制。
[2026-01-26] Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models
模型先只看题目写答案，再让冻结的同模型副本多看标准解，计算这份答案每个位置的下一词概率。OPSD 用两份概率的差异训练模型，不需要另请一个更大的模型生成训练答案。
[2026-02-04] Privileged Information Distillation for Language Models
强模型只留下成功做过哪些操作，也能帮助训练吗？本文通过取消订单的真实记录，解释 π-Distill 如何让同一模型在带参考记录和不带记录的两种输入下共同学习，并核对奖励、概率约束和评测选择。
[2026-09-22] What Should a Self-Teacher See? Privileged Context Design for On-Policy Self-Distillation
训练时已经有参考解答，应该全部交给负责指导的模型，还是只给解题方法或题型？本文用一条公开数学题讲清五种提示、训练代码和评测，再区分最高分、固定检查点与跨随机种子的结果。
[2026-06-09] Self-Distillation Policy Optimization via Visual Feedback: Bridging Code and Visual Artifacts
Visual-SDPO 用模型自己代码的渲染画面提供训练反馈，再把重叠、裁切等问题定位到代码语句。本文解释共享参数的两个分支、局部加权公式、三套评分规则，以及实验尚未隔离的变量。
[2026-06-04] ViCuR: Visual Cues as Recoverable Privilege for Multimodal On-Policy Distillation
模型会背相交弦定理，却可能把图里的线段认错。ViCuR 在训练时提供视觉线索，并增加一条读取画面证据的注意力分支。本文用真实几何题说明训练流程、增益与局限。
[2026-05-09] Training with Harnesses: On-Policy Harness Self-Distillation for Complex Reasoning
OPHSD 让当前模型先独立作答，再让同尺寸的冻结副本多看外部流程整理出的计划或检索样例，逐词评估同一份回答。本文拆解两套流程、真实案例、结果口径及论文与公开代码的两处差异。
[2026-08-03] Is More Privileged Information Better? From Solution Traces to Problem-Solving Structure in Self-Distilled Reasoning
PS-OPSD 从已验证的解答中提取题目起点、目标、约束和一条解法的关键步骤，只在训练时让固定模型多看这些资料。主表优于完整解答，但统一模型版本的结果并不都提高，代码也未公开。
[2026-08-05] Privileged, but Biased: How PI-Conditioned Teachers Break Self-Distillation
这篇反例论文发现，训练辅助分支看过一条标准解后，可能更奖励“写得像标准解”，而不是真正正确。它用问答、数学、代码和多轮工具任务测试这一偏差。
