[2026-08-03] Harness-R1: Learning to Edit Executable Runtime Harnesses from Agent Failure Trajectories
Harness-R1 训练一个 9B 模型读取失败记录、修改 Agent 的运行程序,再用实际重跑的成绩变化奖励补丁。重点是四个可修改位置、训练奖励与最终成功率的区别,以及补丁对未见任务是否仍有效。
Harness-R1 训练一个 9B 模型读取失败记录、修改 Agent 的运行程序,再用实际重跑的成绩变化奖励补丁。重点是四个可修改位置、训练奖励与最终成功率的区别,以及补丁对未见任务是否仍有效。
固定被修改的 Agent、它调用的模型和评分规则,让不同模型在有限试验额度内改进同一套程序。本文拆解开发与隐藏测试、真实预算记录、增益计算及 111 次有正式分数的优化实验。
模型先编写一套能调用工具、修改文件和检查结果的 Agent 程序,再根据执行反馈继续改进。本文说明开发与隐藏评测的边界、真实失败案例、跨模型迁移,以及 2,207 个下游实例上的结果。
只给一段操作视频,Agent 要写出能在物理模拟器里完成同一任务的场景与控制代码。本文用立瓶子的完整案例说明输入、隐藏标注、执行状态、成功判据、评分公式与九套系统的结果。
Agent 一边操作原软件弄清行为,一边写代码复刻,再运行自己的版本检查差异。本文用 Logbert 固定日志案例说明任务与隐藏测试的来源、两种评分通道、五平台结果和训练迁移。
同一批编程执行记录,按接口分别比较成绩,或把同题不同接口的成绩合起来比较:两种训练都只有小幅提升,评测接口带来的差异更大;换到未见接口后,谁更好仍没有稳定证据。
先为弱模型调整提示、工具和运行时检查,再让它完整模仿强模型,成绩反而下降。本文沿着两条真实失败记录,解释为何改用学生自己的执行记录,只修错误发生的那一轮,并核对数据和实验限制。
固定模型,自动读取失败记录,修改提示、工具代码、运行时检查和经验文件,再用下一轮测试验收。本文沿着误删图片、未完成采样两条实际失败记录,解释修改流程、计分和组件冲突。
在给定 Godot 项目里补好玩法逻辑,怎样确认它每一步都守规则?从引擎与代码示例讲起,逐项拆解任务构建、真实案例、隐藏判分和实验分母。
47 个浏览器游戏怎样验收:谁写测试、编码模型系统看见哪些材料、真实拖拽如何判失败,以及为什么运行检查平均通过率 93.2% 只对应 26/47 个完整成功任务。