01 · OVERVIEWarXiv:2606.06324 · 2026-06-04

HarnessFix:失败在哪一步,连回哪段可改代码

先把杂乱运行日志整理成带依赖关系的步骤,再定位重复问题、限定补丁范围并重跑验证。

57,780开发记录
26,174归为 harness 相关的记录
6.3–18.4 ppGPT-5 mini 四环境提升;pp 为百分点
85.0%定位到责任步骤的准确率
v2§III–V;TablesIII–VI1 / 10
02 · ACTORSarXiv:2606.06324 · 2026-06-04

先分清谁写、谁执行、谁给分

整理记录

把运行写成 TraceStep 步骤,附上状态变化、跨步骤关系与代码位置

诊断原因

指出负责的步骤、原因,以及哪类运行职责出了问题

限定修复

按诊断给出允许的修改操作、文件与验收要求

验证修改

先检查语法,再重跑任务,看修好多少、改坏多少

v2§III方法2 / 10
03 · MOTIVATIONarXiv:2606.06324 · 2026-06-04

这篇具体补了哪个空缺?

最终任务分

只知道任务失败,不知道哪一步和哪段代码负责。

原始记录

模型回复、工具返回、外部状态和程序执行决策混在一起。

HTIR

把运行步骤及其依赖对应到源码位置,形成可核对的结构化记录。

Introduction3 / 10
04 · RELATEDarXiv:2606.06324 · 2026-06-04

相邻工作改的对象不同,分数不能混着比

工作修改对象反馈或判分
GEPA主要改 prompt任务分与失败分析
Meta-Harness搜索候选代码任务分与运行记录
HarnessFix整理步骤与代码关系,再修补诊断原因、限定修改、重跑验收
RelatedWork;本文比较4 / 10
05 · MECHANISMarXiv:2606.06324 · 2026-06-04

先保留运行事实,再诊断,再允许修改

01原始记录

模型输入输出、工具调用、返回值和状态。

02HTIR

整理为 TraceSteps,并连接数据与控制依赖、源码位置。

03诊断

定位负责的步骤,合并重复问题,区分模型错误与程序缺陷。

04修补规范

给出允许改动文件、操作和禁止触碰的任务数据。

05生成 patch

修状态传递、工具处理或完成条件。

06验收

静态检查与验证任务重跑,检查目标改善和原成功回归。

HTIR 是结构化运行表示;anchor 是把某一步连到源码的具体位置,不是额外执行 Agent。

v2§III;Figure2,机制重绘5 / 10
06 · BOUNDARYarXiv:2606.06324 · 2026-06-04

可见信息、隐藏信息与一分怎样产生

修复角色可读

  • 外部测试结果
  • 完整任务运行记录
  • 实现源码与配置
  • 验证题成绩

修复角色不可读或改

  • 验证/测试标签与任务数据禁止修改
  • 题目数据和标准答案禁止修改
  • 人工诊断标签不用于生成补丁
先静态检查,再真实重跑;当前代码默认净增≥1、回归≤2,成本只报告,不决定接受
v2验证协议6 / 10
07 · CASEarXiv:2606.06324 · 2026-06-04

AppWorld 请求示例:调用正常返回,却未创建付款请求

1
目标

分摊最近三笔 Amazon 订单;请求必须传 user_email。

2
错误请求

漏传 user_email。运行程序捕获 API 错误,却仍返回成功标志。

3
过早结束

完成检查只看 success,实际 PaymentRequest 记录没有增加。

4
诊断与修补

沿文档、请求和状态的关系定位,要求完成前检查真实变化。

论文 Figure 3 原图金额为 117.6;§III-A 结构化摘录为 54.0。本文保留这个原文差异。图示是说明案例,未给完整任务或修补后 PASS。

v2Figure3支付说明,未公布单题重跑7 / 10
08 · RESULTSarXiv:2606.06324 · 2026-06-04

GAIA 消融:诊断与验收都有贡献

GAIA 设置 · Table VI成功率隔离的问题
初始 harness43.3%共同起点
只修 prompt50.6%仅增加提示够不够
无结构化诊断51.1%失败归因是否有用
不限定修补操作50.6%任意编辑是否足够
无回归验收55.6%候选筛选是否有用
完整系统61.7%各环节共同收益

完整系统高于单一改提示,但不能将全部增益归给一个模块;四 benchmark 的测试划分、模型与预算见正文。

v2TableVI消融重绘8 / 10
09 · DIAGNOSISarXiv:2606.06324 · 2026-06-04

诊断对不对:三人独立标注 80 条失败

冻结后采样

四基准各 20 条初始失败;三人看原轨迹、源码与评测,不看系统预测。

独立标注与裁决

步骤、原因、代码位置、职责层、修复范围。步骤 kappa=.76 是人际一致性,不是模型准确率。

同模型比较表示

步骤准确率:原日志 55.0%,加数据关系 70.0%,加控制关系 77.5%,HTIR 85.0%。

标注流程与一致性已公开;缺逐条 gold 和预测,不能独立重算。开发记录同样有公开方法说明,但缺完整数据。

v2§IV-D、TableV;固定仓库 diagnosis_annotation / rq29 / 10
10 · VERDICTarXiv:2606.06324 · 2026-06-04

结论:让运行事实约束可改代码

每个补丁都要说明哪个运行事实指向哪段代码,再用真实任务检查修改的后果。

证据约束修改

步骤关系与源码定位先于 patch;仍由独立任务测试验收。

标注与结果分开

80 条人工诊断评测不参与修补;任务成绩是三次运行平均。

限制必须带条件

允许有限回归,成本只报告;离线 token 不等于端到端成本。

博客作者兴趣度 8.8 / 10,仅表示本人兴趣。

本文综合判断10 / 10