[2026-09-01] HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness?
模型先编写一套能调用工具、修改文件和检查结果的 Agent 程序,再根据执行反馈继续改进。本文说明开发与隐藏评测的边界、真实失败案例、跨模型迁移,以及 2,207 个下游实例上的结果。
模型先编写一套能调用工具、修改文件和检查结果的 Agent 程序,再根据执行反馈继续改进。本文说明开发与隐藏评测的边界、真实失败案例、跨模型迁移,以及 2,207 个下游实例上的结果。
只给一段操作视频,Agent 要写出能在物理模拟器里完成同一任务的场景与控制代码。本文用立瓶子的完整案例说明输入、隐藏标注、执行状态、成功判据、评分公式与九套系统的结果。
别人写出的正确解答未必适合学生模型直接学习。Sampling SFT 先让目标模型重写答案,再做普通监督训练。本文分开讲理论采样与公开贪心实现,用真实配平案例核对正确性与结果。
答对选项也可能看错图。V-Rubrics 把视觉事实、推理和输出要求分开判分,再将每项训练信号分配给回答的相应前缀。本文用公开潮汐题复算奖励,核对原论文图表与代码边界。
GAGAR 如何比较多次通过测试的代码修改质量,再重新分配训练权重;拆解判分 Agent、计算公式、训练结果、带上限的实现与未公开证据。
ASTRA 先生成工具调用示范,再把多步问答写成可执行的模拟工具,用模型自己的执行结果继续训练。本文分开解释数据构造、环境检查、训练奖励、行李加购真实样本及公开代码与论文的差异。
Agent 一边操作原软件弄清行为,一边写代码复刻,再运行自己的版本检查差异。本文用 Logbert 固定日志案例说明任务与隐藏测试的来源、两种评分通道、五平台结果和训练迁移。
把几何解题过程写成带标签的步骤,固定某一步以前的内容,再从这里生成不同完整解法,用最终分数差训练后半段。结合等腰三角形真实案例,说明数据来源、评分、更新范围与实验限制。
让 Claude Code 读取历次候选的代码、分数与执行记录,改进包在模型外的运行程序。本文说明搜索过程、真实样例的判分,以及分类、数学和终端实验各自能证明什么。
同一批编程执行记录,按接口分别比较成绩,或把同题不同接口的成绩合起来比较:两种训练都只有小幅提升,评测接口带来的差异更大;换到未见接口后,谁更好仍没有稳定证据。