Self-Harness:固定模型,按重复失败改运行程序
同一个模型做题、读失败、提修改;两组平均成绩不下降才保留,不保证每道旧题都保住。
先分清谁写、谁执行、谁给分
执行角色
同一个模型用当前运行程序做任务,留下失败记录
提案角色
同一个模型阅读失败证据,归纳重复问题并写小修改
版本筛选
两个分区都不退化、至少一个提高才保留
版本仓库
记录候选与保留版本,拒绝修改后恢复旧程序
这篇具体补了哪个空缺?
手工 harness
每换一个做题模型,都可能要重新调程序。
开放式演化
容易大改、回退或忘记旧能力。
Self-Harness
围绕重复失败做小修改;重跑不合格就恢复旧程序。
重点是同模型提出受约束修改,再真实验收
| 工作 | 谁改、改什么 | 差别 |
|---|---|---|
| Meta-Harness | 外部优化 Agent 搜索可执行程序 | 不要求与做题模型相同 |
| Agentic Harness Engineering | 外部 Agent 读取执行记录、修改仓库配置 | 重点是详细观察与验收流程 |
| Harness-R1 | 训练独立写补丁模型 | 用安装后重跑奖励更新模型参数 |
| Self-Harness | 同模型编辑声明的 DeepAgent 配置入口 | 参数不更新,两分区平均成绩筛选 |
失败归类 → 最小修改 → 两分区测试 → 保留或回滚
固定模型使用现有 DeepAgent 程序执行任务。
用“测试拒绝什么、哪种行为造成它、共同机制是什么”归类。
同一模型修改程序定义与配置,尽量不大改。
held-in 与论文称为 held-out 的分区。
两边都不下降,至少一边严格提高。
继续使用上一版本,不保留失败候选。
所谓 held-out 每轮也用于版本选择,是验证分区;不是最后只用一次的 blind test。
一次尝试过不过,与两次取最好,不能混算
Terminal-Bench
固定 64 题子集;排除不稳定资源及初始 harness 不支持的多模态题。
SWE-bench Verified
100 题,按 67 / 33 分入两个版本选择分区。
AppWorld
180 题,90 / 90;应用状态测试决定任务成功。
例:10 题各跑两次,共成功 12 次,Pass=12/20=60%;若 8 题至少成功一次,则 success@2=80%。这是假设换算例子。
真实 Django 案例:本地 49 tests,不是官方 47 tests 的分母
window expression 修补后没有成功执行目标测试;唯一应转成功的测试仍失败。
提交前检查 diff,并要求可执行测试验证。
调整 SQLite casting guard,跑 expressions_window 的 49 项本地测试。
1/1 FAIL-TO-PASS 与 46/46 PASS-TO-PASS 通过,任务解决。
前者检查 bug 已修,后者检查原有能力保留;本地测试与官方计分集合不同,不能写成 47/49 分。来源:v3 Appendix B.2。
九组均提升,但两个分区都参加了候选选择
| 模型 | Terminal · 128 次 | SWE · 200 次 | AppWorld · 360 次 |
|---|---|---|---|
| MiniMax M2.5 | 42.2→53.9% | 46.0→52.5% | 48.6→58.9% |
| Qwen3.5-35B-A3B | 18.0→36.7% | 19.5→41.5% | 22.5→52.2% |
| GLM-5 | 46.1→57.0% | 52.0→55.5% | 44.4→85.0% |
overall 合并两分区全部尝试,不把 43/21 或 67/33 的百分比各取一半。最大变化为 +40.6 个百分点;全部是筛选期任务,缺独立最终测试。
平均不下降,仍可以丢失原来成功的题
官方脚本实际检查
- 重复次数、编号、每次题数必须可比。
- 比较两次 pass_rate 的平均。
- 不读取逐题“哪题从成功变失败”的配对。
说明性数量,不是模型日志
- 第一组每次 3/5→4/5,第二组 2/5→2/5,接受。
- 丢失一题、再多解两题,也会产生上述数量。
- 第一组提高、第二组降到 1/5,则拒绝。
本文调用固定版本 run_acceptance_gate 得到这两种结果;验证筛选逻辑,不等于重现做题实验。
结论:同模型能改程序,结果要按筛选期来读
同一冻结模型在三类任务中提出有效小修改;尚未得到独立最终测试与完整搜索成本。
方法可借鉴
归类重复失败,编辑声明入口,用真实重跑决定保留。
不保证逐题保留
两分区平均不下降,仍可能丢失个别旧成功;第二分区也参与选版本。
公开范围有限
README 只列 Terminal 结果,未等同发布全部九组实验与候选历史。
博客作者兴趣度 9.2 / 10,仅表示本人兴趣。