让 Claude Code 看完整历史，再改模型外的执行程序

保存历次候选的代码、分数和原始执行记录；提案模型自己查错和改代码，基础模型权重始终不更新。

1 · Claude Code 读历史，写出新候选用文件搜索和脚本查旧代码及原始记录，不必先把所有失败压成一份摘要。

2 · 独立程序检查接口、执行任务、计分候选提出者不能自己决定评测结果；每个候选的源码、分数和记录再进入下一轮历史。

分类、数学、终端结果要分开读分类准确率 48.6%；奥赛数学 38.8%；TerminalBench-2 上 Opus 4.6 为 76.4%。终端搜索与终测使用同一批 89 道公开任务。

博客作者兴趣度 9.6 / 10：完整 harness 自动工程化。Harness 指包在基础模型外的提示构造、记忆、检索和调用程序。

TerminalBench-2 · 同一批 89 道公开题

Opus 4.6 · Meta-Harness	76.4%
Opus 4.6 · Terminus-KIRA	74.7%
Haiku 4.5 · Meta-Harness	37.6%
Haiku 4.5 · Goose	35.5%

原论文 Figure 1，CC BY 4.0。查看完整原图；终端搜索与终测用的是同一批任务。

原论文 Figure 1（CC BY 4.0）。终端实验不是独立保留题上的泛化成绩。

Harness 包含系统提示，也包含围绕模型运行的程序

提案模型写候选代码；外层程序控制验证、计分和版本选择

1 · 保存历史文件系统保留每个候选的代码、搜索分数和原始执行记录。

2 · 提案模型选读并改写Claude Code 自己检索相关文件，写出一个新 harness；基础模型权重不变。

3 · 外层程序独立评测检查候选接口，运行任务，产生分数与新的执行记录。

4 · 记录并继续搜索新候选回到文件系统；前沿保留准确率与成本互不全面胜出的程序。

原论文 Figure 2 可左右滑动查看完整流程

一次评测可产生约 1,000 万 tokens 的记录，提案模型只读取其中相关部分

提案模型能检索历次代码与原始记录，不必只读摘要

去掉原始执行记录后，最优候选也低于完整历史组的中位数

四次评测追平其他优化器的最终水平，40 次后拉开十余点

平均准确率 48.6%，比 ACE 高 7.7 个百分点；输入约四分之一

Meta-Harness准确率 48.6%；Table 2 报输入长度 11.4K。

ACE准确率 40.9%；输入长度 50.8K。

单位冲突Table 2 写 tokens；Figure 3 与 Appendix Table 9 写 characters。论文未解释换算，不能把两者混用。

搜索得到的是不同检索与提示构造程序

Figure 5 · 两次模型调用先取 5 个近邻给出草稿标签，再取同标签和异标签样例验证草稿；不足 5 条时改为单次调用。

Figure 6 · 一次模型调用把合法标签、类别覆盖与相近异标签对照组装成一个提示；论文最终 48.6% 的分类系统使用这一版。

候选按搜索集分数选，最终测试在选择后才运行

论文协议提案模型不看测试分数；从准确率与输入长度的折中候选中选定后，才做最终测试。

公开代码meta_harness.py 将验证集演化与显式 --test 最终测试分开。

但不是访问控制公开仓库含测试数据；隔离依赖运行流程，不是文件权限。

症状分类比较的是标准疾病标签，不是模型自述“诊断合理”

同一个 BM25 检索器，搜索得到四种按题型选择证据的策略

搜索阶段GPT-OSS-20B 在 250 题上挑选 109 个候选中的最终 harness。

最终测试200 道未见题，包含答案题、证明题和研究风格题；每题三次采样。

精确说法GPT-OSS-20B 既参与搜索又参与测试；另外四个模型才未参与搜索。

38.8% 平均准确率，比无检索高 4.7 个百分点；五列都上涨

TerminalBench-2 在同一批公开题上搜索与计分，不是独立题目泛化实验

前六轮未超过起点；第七轮不再改控制循环，转而增加环境信息

_gather_env_snapshot() 在 Agent 开始前一次性查询隔离环境

# _gather_env_snapshot 内：省略前面的命令构造与后面的输出解析
try:
    result = await asyncio.wait_for(
        env.exec(command=bootstrap_cmd, timeout_sec=15),
        timeout=20,
    )
except Exception:
    return ""

# 以下另摘自 _run_agent_loop；并非与上面连续的代码
try:
    snapshot = await self._gather_env_snapshot()
    if snapshot:
        initial_prompt = f"{initial_prompt}\n\n{snapshot}"
except Exception:
    pass

首次调用前提供环境信息；节省 2 到 4 轮是作者解释，未单独受控验证

Claude Opus 4.676.4%；Terminus-KIRA 74.7%。官方 artifact：89 题 × 5 次尝试。

Claude Haiku 4.537.6%；下一名 Goose 35.5%。

改善集中在哪里89 个任务中有 7 个的通过表现改善，最大改善在 protein-assembly 与 path-tracing；不是新增解出 7 道整题。

同一套 Meta-Harness，在三类任务上回答的是三种不同问题

可检索的完整历史能改善程序搜索；跨任务基准的泛化仍需验证