[2026-06-04] From Failed Trajectories to Reliable LLM Agents: Diagnosing and Repairing Harness Flaws
HarnessFix 先把失败记录对应到具体代码:哪些信息没传下去,程序为什么过早结束,再限制补丁可改的范围。本文用 AppWorld 支付请求解释完整诊断与验证过程,并核对四个 benchmark 的评分和证据缺…
HarnessFix 先把失败记录对应到具体代码:哪些信息没传下去,程序为什么过早结束,再限制补丁可改的范围。本文用 AppWorld 支付请求解释完整诊断与验证过程,并核对四个 benchmark 的评分和证据缺…
Self-Harness 让同一个模型做任务、阅读失败原因,再修改自己的运行程序。重点是候选如何生成和保留、真实测试怎样判补丁成功,以及反复用于筛选的验证题为什么不等于最终盲测。
Harness-R1 训练一个 9B 模型读取失败记录、修改 Agent 的运行程序,再用实际重跑的成绩变化奖励补丁。重点是四个可修改位置、训练奖励与最终成功率的区别,以及补丁对未见任务是否仍有效。