[2026-10-15] JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs
小模型负责选工具、填有限选项,不确定时交回大模型。沿发货与退款实测记录,说明任务如何判成败、阈值怎样拟合,以及监督训练的收益和后续蒸馏、新规则实验的失败。
课程笔记、踩坑记录,还有一些摸鱼和日常。
复仇者不折镆干。虽有忮心,不怨飘瓦。
小模型负责选工具、填有限选项,不确定时交回大模型。沿发货与退款实测记录,说明任务如何判成败、阈值怎样拟合,以及监督训练的收益和后续蒸馏、新规则实验的失败。
让通用模型 Astra 直接控制机械臂,还是先检查机器人动作模型 π0.5 的建议?从真实分类案例、控制代码和原始图表解释两种方案与评测条件,附面向 LLM / VLM 读者的机器人基础。
让模型用 Blender 搭出靠机械作用运行的三维装置。沿一道路口放行的真实任务,介绍题目怎么构建、模型看到什么、动画怎么评分,以及运行成功为何不等于机械正确。
Agent 拆出的子任务没有现成答案,怎样训练它评价这些任务?SERA 让同一模型写评分条件、执行与评分。本文用公开两菜任务的实际程序重放,讲清三种训练奖励、最终验收和关键负结果。
模型先只看题目写答案,再让冻结的同模型副本多看标准解,计算这份答案每个位置的下一词概率。OPSD 用两份概率的差异训练模型,不需要另请一个更大的模型生成训练答案。
把历史任务提炼成经验,只在训练时交给模型的冻结副本;正在学习的模型自己尝试,再向这份带经验的判断靠近。本文拆解经验生成、筛选、训练损失和文本游戏评测,也指出按测试成绩挑训练版本的限制。
强模型只留下成功做过哪些操作,也能帮助训练吗?本文通过取消订单的真实记录,解释 π-Distill 如何让同一模型在带参考记录和不带记录的两种输入下共同学习,并核对奖励、概率约束和评测选择。
训练时已经有参考解答,应该全部交给负责指导的模型,还是只给解题方法或题型?本文用一条公开数学题讲清五种提示、训练代码和评测,再区分最高分、固定检查点与跨随机种子的结果。
训练时,让模型多走一遍检索或规划流程,再用这份额外材料训练它直接作答。OPHSD 在两套短流程上有效;本文用真实法律与数学题解释训练、判分,以及论文和公开实现的差异。
模型写出代码后,训练程序执行它,让模型多看画面再判断哪些代码应该改。Visual-SDPO 还把遮挡、裁切等问题关联到源码,增加相关语句的训练权重。