HarnessFix:失败在哪一步,连回哪段可改代码
先把杂乱运行日志整理成带依赖关系的步骤,再定位重复问题、限定补丁范围并重跑验证。
先分清谁写、谁执行、谁给分
整理记录
把运行写成 TraceStep 步骤,附上状态变化、跨步骤关系与代码位置
诊断原因
指出负责的步骤、原因,以及哪类运行职责出了问题
限定修复
按诊断给出允许的修改操作、文件与验收要求
验证修改
先检查语法,再重跑任务,看修好多少、改坏多少
这篇具体补了哪个空缺?
最终任务分
只知道任务失败,不知道哪一步和哪段代码负责。
原始记录
模型回复、工具返回、外部状态和程序执行决策混在一起。
HTIR
把运行步骤及其依赖对应到源码位置,形成可核对的结构化记录。
相邻工作改的对象不同,分数不能混着比
| 工作 | 修改对象 | 反馈或判分 |
|---|---|---|
| GEPA | 主要改 prompt | 任务分与失败分析 |
| Meta-Harness | 搜索候选代码 | 任务分与运行记录 |
| HarnessFix | 整理步骤与代码关系,再修补 | 诊断原因、限定修改、重跑验收 |
先保留运行事实,再诊断,再允许修改
模型输入输出、工具调用、返回值和状态。
整理为 TraceSteps,并连接数据与控制依赖、源码位置。
定位负责的步骤,合并重复问题,区分模型错误与程序缺陷。
给出允许改动文件、操作和禁止触碰的任务数据。
修状态传递、工具处理或完成条件。
静态检查与验证任务重跑,检查目标改善和原成功回归。
HTIR 是结构化运行表示;anchor 是把某一步连到源码的具体位置,不是额外执行 Agent。
可见信息、隐藏信息与一分怎样产生
修复角色可读
- 外部测试结果
- 完整任务运行记录
- 实现源码与配置
- 验证题成绩
修复角色不可读或改
- 验证/测试标签与任务数据禁止修改
- 题目数据和标准答案禁止修改
- 人工诊断标签不用于生成补丁
AppWorld 请求示例:调用正常返回,却未创建付款请求
分摊最近三笔 Amazon 订单;请求必须传 user_email。
漏传 user_email。运行程序捕获 API 错误,却仍返回成功标志。
完成检查只看 success,实际 PaymentRequest 记录没有增加。
沿文档、请求和状态的关系定位,要求完成前检查真实变化。
论文 Figure 3 原图金额为 117.6;§III-A 结构化摘录为 54.0。本文保留这个原文差异。图示是说明案例,未给完整任务或修补后 PASS。
GAIA 消融:诊断与验收都有贡献
| GAIA 设置 · Table VI | 成功率 | 隔离的问题 |
|---|---|---|
| 初始 harness | 43.3% | 共同起点 |
| 只修 prompt | 50.6% | 仅增加提示够不够 |
| 无结构化诊断 | 51.1% | 失败归因是否有用 |
| 不限定修补操作 | 50.6% | 任意编辑是否足够 |
| 无回归验收 | 55.6% | 候选筛选是否有用 |
| 完整系统 | 61.7% | 各环节共同收益 |
完整系统高于单一改提示,但不能将全部增益归给一个模块;四 benchmark 的测试划分、模型与预算见正文。
诊断对不对:三人独立标注 80 条失败
冻结后采样
四基准各 20 条初始失败;三人看原轨迹、源码与评测,不看系统预测。
独立标注与裁决
步骤、原因、代码位置、职责层、修复范围。步骤 kappa=.76 是人际一致性,不是模型准确率。
同模型比较表示
步骤准确率:原日志 55.0%,加数据关系 70.0%,加控制关系 77.5%,HTIR 85.0%。
标注流程与一致性已公开;缺逐条 gold 和预测,不能独立重算。开发记录同样有公开方法说明,但缺完整数据。
结论:让运行事实约束可改代码
每个补丁都要说明哪个运行事实指向哪段代码,再用真实任务检查修改的后果。
证据约束修改
步骤关系与源码定位先于 patch;仍由独立任务测试验收。
标注与结果分开
80 条人工诊断评测不参与修补;任务成绩是三次运行平均。
限制必须带条件
允许有限回归,成本只报告;离线 token 不等于端到端成本。
博客作者兴趣度 8.8 / 10,仅表示本人兴趣。