01 · 一页看懂论文Alibaba Token Hub · arXiv:2609.22000v2 · 最早公开于 2026-09-18

让 Agent 操作原软件、写代码复刻,再用基于原软件的隐藏测试检查

250五个平台各 50 个任务
58.06GPT-6 Astra 两通道平均分
2.8%程序检查全部通过的任务
9.4 / 10博客作者个人兴趣程度

同一个 Agent 操作原软件、写代码、启动自己的版本,再观察差异继续修改。原软件叫 reference,新版本叫 candidate。RecreationBench 用程序读取和画面判断两条通道检查最终行为,分别记为 Prog 与 VLM。

来源:Abstract、Sections 1、4、501 / 15
02 · PART 0界面操作与软件开发交替

同一个 Agent 交替探索界面、写代码并检查新版本

探索原软件

点击、输入、打开菜单;发现窗口、状态与计算结果。

→
实现新版本

写源代码、构建脚本与启动入口;选择自己的架构。

→
检查新版本

启动成品,操作并观察错误,再决定去哪里复查或修改。

282.5每条完整执行记录的工具调用中位数
9.08每 100 次调用的 GUI↔代码编辑切换中位数
来源:Sections 1、2.2、3.1
03 · 为什么研究复刻工具配合、运行检查与训练数据

复刻任务要求两类工具配合,也提供可重复的检查依据

两类能力都需要

只点界面无法交付代码;只写代码又不知道原软件真正怎样响应。

以原软件验证检查

先在原软件上得到结果,再把同一组输入、动作和观察条件用于新版本。

继续扩展训练记录

大量开源软件可转换成新任务,得分高的完整执行记录可筛选成训练数据。

评测只约束可观察行为,不要求新版本复制原软件的语言、框架或目录结构。
来源:Section 2.2
04 · 官方概览评测、训练与轨迹分析
RecreationWorld 官方概览
原图:官方 GitHub assets/overview.png(MIT),对应论文 Figure 1
05 · 任务输入与交付统一研究问题,保留平台差异
五平台任务的可见和隐藏边界
根据 Sections 2.1、4.1、4.2、4.5 与 Appendix C.6 重绘
06 · 探索、实现与检查由 Agent 决定何时探索或修改
RecreationWorld 官方工作流
原图:官方 GitHub assets/workflow.png(MIT),对应论文 Figure 2;Agent 没有预设步骤顺序
07 · 任务来源250 个独立评测任务

五个平台各 50 个任务,但来源和可见边界不同

平台原软件来源与筛选交付物程序读取接口
Ubuntu开源应用,固定上游版本;排除构建不稳定或依赖在线服务者源码、构建与启动入口AT-SPI
macOS开源 AppKit / SwiftUI 等,也含菜单栏应用源码、构建与启动入口AXUIElement
Windows开源 .NET / JVM 等,固定代码版本源码、构建与启动入口UI Automation
Android不声明联网权限、核心状态在本机Gradle → APKUiAutomator
Web44 个合成站点 + 6 个公开网站React 起始项目 → index.htmlDOM / ARIA

桌面与 Android 尽量隐藏原软件源码;Web 必然向浏览器发送网页代码,因此保护的是另行采集的参考结果与测试。

来源:Sections 4.1、4.2;Appendix C.1-C.3
08 · 测试构造生成并验证测试后才冻结评测

隐藏测试以原软件运行结果为准,先回放再人工复核

1 · 发现功能

从源码或页面分析找功能入口与可测试状态。

2 · 实际操作

实际操作原软件,记录指定动作产生的结果。

3 · 生成测试

准备固定输入文件、动作序列与程序/视觉观察条件。

4 · 重置回放

在重置后的原软件上跑;不稳定或不通过的测试淘汰。

5 · 复核冻结

人工检查输入、动作与预期观察,随后冻结。

论文没有报告复核人数、标注者一致性或驳回率。能确认有人审核,不能据此声称审核高度一致。
来源:Section 4.3、Appendix C.5
09 · Logbert 真实测试固定输入 → 动作 → 观察 → 判定
Logbert 测试从 fixture 到 PASS FAIL
根据 Figure 8、Appendix C.5 与公开 task manifest 重绘
10 · 两种检查通道精确状态与实际画面

程序与画面互补,但必须区分缺少画面与 judge 失效

Prog

用 AT-SPI / AXUIElement / UI Automation / UiAutomator / DOM-ARIA 等平台接口读取控件文字、状态、导航与计算结果。构建或启动失败使整个任务为 0。

VLM

在固定检查位置截取完整应用窗口,用 Qwen3.7-Plus、temperature 0 判断布局、颜色、绘图区和图例等观察条件。输出必须逐项给 JSON 判断。

SYSTEM_PROMPT: pass=true only when the assertion is clearly and fully satisfied

missing / incorrect / placeholder / visibly mismatched element → FAIL

论文 §4.4 要求传输或解析错误重测。Web 当前代码另有处理:缺截图记 0;judge 无判断记 None,排除视口并重算权重;全站无判断时退回图像相似度。不能据此确认历史榜单已全部重测。

来源:Section 4.4;官方 src/recreation_bench/common_vlm.py
11 · 分数汇总先算平台原生分,再等权汇总

程序与画面分母不同,58.06 不能当作整题通过率

桌面 / Android

Prog 按冻结测试 case 的通过比例;VLM 按视觉断言通过比例。两条通道的分母不同。

Web

功能检查按具体程度加权;视觉先按页面和视口汇总,再合并桌面与手机。

共同汇总

平台内对应用等权平均;五个平台再等权;最后取 Prog 与 VLM 的均值。

Overall = (five-platform macro Prog + five-platform macro VLM) / 2
GPT-6 Astra 的平均分为 58.06,但程序检查满分的应用仅占 2.8%。result.py 读取原生结果,不把原始断言计数当作所有平台的统一分母。
§4.4、Table 3、Appendix B;固定 result.py / web_score.py
12 · 主要结果平均分较高,完整复刻仍少
RecreationBench 主结果
根据原论文 Table 3 重绘;全部主榜为 direct MCP、单次 rollout
13 · 工具执行配置对照Claude Opus 4.8 · Windows · 50 tasks

用保留变量的执行环境批量操作界面,质量近似不变、开销下降

−39.9%界面操作调用数
−40.7%输入 token
−65.5%工具返回文本量
−54.1%估算模型成本

质量

Prog 35.05→35.60;VLM 31.00→32.29。

实际时间

每任务 4.12→3.04 小时,下降 26.1%;输出 token 增加 15.7%。

证据边界

每个任务/配置只运行一次;完整配置一起变化,不是单变量因果实验。

资源统计来自 39 对完整记录,质量统计来自 50 对有效评分。成本按公开 API 价格、90% cache-read 假设估算,不是账单,也未包含机器开销。

来源:Section 5.2、Figure 9、Appendix C.7
14 · 训练后的迁移筛选的 35,000 条轨迹

用复刻记录训练后,五项未见评测都提升,但还缺关键对照

生成记录

Qwen3.8-Max 生成五平台复刻软件的执行记录。

→
筛选样本

每个平台 7,000 条,组成 35,000 条监督数据;条数均衡,不是 token 权重均衡。

→
更新模型

从两个不同初始模型分别训练一次。

→
未见任务评测

五项未见评测;Flash 在 OSWorld 从 28.2→46.1,+17.9 是这一个子项,不是五榜平均。

看见的信号

两次训练的最后模型存档都高于第一个被评测存档;也更常检查自己的运行画面。

没公开

所选记录、训练后模型与完整超参数。

没控制

多个训练随机种子,以及等量普通代码记录的对照。

来源:Section 3、Figures 1、5、6、Appendix A.5-A.6
15 · 结论与边界实验支持什么,还有哪些缺口

最完整的是可执行链路;最需要补的是 VLM 校准、重复运行和训练消融

论文已经讲清

  • 一套五平台交付规则连接界面探索与写代码。
  • 隐藏测试先在原软件重置回放,再经人工复核冻结。
  • Prog 与 VLM 互补,五平台等权聚合。
  • 强模型平均分较高,但程序检查全部通过仍罕见。

仍然不能推出

  • 有限隐藏测试不能证明行为完全等价。
  • 视觉判分没有人工校准或一致性报告。
  • 无法排除模型预训练时已经见过这些公开软件。
  • 单次执行不能说明小分差稳定,也不能把整套配置的节省归到单一组件。
让原软件提供可探索的行为,再用固定输入与隐藏回放检查成品。执行记录还能展示 Agent 怎样交替使用界面和代码工具。
来源:Sections 5-8、Appendices B-D、官方仓库