[2026-02-04] Privileged Information Distillation for Language Models
强模型只留下成功做过哪些操作,也能帮助训练吗?本文通过取消订单的真实记录,解释 π-Distill 如何让同一模型在带参考记录和不带记录的两种输入下共同学习,并核对奖励、概率约束和评测选择。
强模型只留下成功做过哪些操作,也能帮助训练吗?本文通过取消订单的真实记录,解释 π-Distill 如何让同一模型在带参考记录和不带记录的两种输入下共同学习,并核对奖励、概率约束和评测选择。
成功记录里的下一步,不一定适合模型现在走到的位置。本文用真实购物和家庭操作案例,解释 SMRC-SD 如何检查参考步骤、训练同一模型,以及匹配规则和任务判分为什么不能混为一谈。
ASTRA 先生成工具调用示范,再把多步问答写成可执行的模拟工具,用模型自己的执行结果继续训练。本文分开解释数据构造、环境检查、训练奖励、行李加购真实样本及公开代码与论文的差异。