真实题目 053：B 先开始接近，A 先过路口；A 完全离开后，由机械机构放行 B。
这份输出的目标条件得 100%，机械执行只得 5 / 10。条件满足率不等于整题机械正确。
ExeWorldBench · Peng et al. · arXiv v1 · 2026-10-1001 / 18
用代码搭出能工作的 3D 机械装置
一张机构图或一段目标描述，能否变成靠实际机械作用运行的 Blender 场景？
原文 Figure 9（裁切）；正文有全部 9 图、9 表及真实任务详解。论文 PDF
PART 0 · 运动从哪里来02 / 18
关键帧直接规定位置，刚体由物理引擎推进
Blender 的 Python 接口 bpy 创建几何、碰撞和关节。.py 是程序，.blend 是运行后保存的场景。
关键帧：指定物体在某一帧的位置。刚体模拟：设置质量、碰撞形状和约束，由重力、接触等决定后续运动。
任务允许合理初始驱动，禁止给下游零件安排独立的运动时间表。
import bpy
# 教学片段：让现有球参与刚体模拟
bpy.context.view_layer.objects.active = ball
ball.select_set(True)
bpy.ops.rigidbody.object_add()
ball.rigid_body.type = "ACTIVE"
ball.rigid_body.mass = 1.0
ball.rigid_body.collision_shape = "SPHERE"
bpy.context.scene.gravity = (0, 0, -9.81)假设已有球对象；非完整脚本、非 benchmark 解法。论文要求 Blender 5.2，示例未在该版本运行。
背景来源：Blender 官方 RigidBodyObject / rigidbody operators；任务约束来自公开提示。完整教学片段见正文 Part 0
BENCHMARK · 模型自行决定的内容越来越多03 / 18
273 道题：从机构还原，到目标驱动设计
| 任务 / 独立题数 | 输入 | 必须自行完成 |
|---|---|---|
| T1 · 50 | 单机构静态图 | 几何、约束和完整运动 |
| T2 · 100 | 多级装置静态图 | 各组件的空间连接与机械传递 |
| T3-1 · 63 | 组件名称 / 定义、组件数与球数 | 组件顺序、布局、连接；每实例恰用一次 |
| T3-2 · 60 | 目标、物体、状态、事件及规则 | 选择机构，再设计几何与物理实现 |
论文有 T1、T2、T3 三个主任务，T3 分两种设置。T1/T2 主设置不给运动帧，加入运动参考的版本不增加独立题数；T3 不给视觉参考。
原文 §3.1；公开数据 c6dc85e：50 + 100 + 63 + 60。没有训练新模型
DATA CONSTRUCTION · 制作题目，不是模型答题流程04 / 18
T1 怎样保证一张静态图有足够运动线索
左：公开机械动画经画质过滤；Astra 排除遮挡、歧义与少于 3 个活跃组件的案例。
右：Astra 看完整运动，写 3 条静态结构线索；Opus 5 只看图与线索推断运动；Astra 核对，再由 5 人排歧义。这些线索不交给被测模型。
原文 §3.2.1 / Figure 1，按阶段裁成两块，未改动英文内容；完整原图在正文。未报告人工一致性系数
DATA CONSTRUCTION · 模型生成与人工复核分工05 / 18
T2 从组件库组合，T3 从组件或目标出发
T2：作者预制组件；Astra 提出 4–13 级序列，人工复核，再用 Codex 组合实现。T3-1 抽取 4–12 个组件，只给模型名称和定义，不给代码。
T3-2：三档难度各占 1/3；Astra 按统一格式写规格，Opus 5 检查一致、可解、可构建，再人工复核。组件库和完整参考代码未公开。
原文 §3.2.2–3.2.3 / Figure 1，分阶段裁切。参考内部怎样驱动物体，无法从公开材料核查。850 是组件出现次数
GENERATION · 相同模型名称不代表相同运行设置06 / 18
Harness 可以执行与修改；API 先一次生成
| Harness-based | API-based | |
|---|---|---|
| 模型使用方式 | Astra + Codex CLI；Fable + Claude Code | 单次调用输出完整程序 |
| 工具与产物 | 文件系统、shell、Blender；交 .py + .blend | 输出 JSON 的 code 字段 |
| 技术错误修复 | Agent 可在任务内查看和修改 | 之后由 Astra + Codex 修复，再记录第二组成绩 |
Harness 是组织模型、上下文与工具执行的外层软件。API-based 则直接调用模型一次。
两类设置未严格匹配总 token 数、执行次数与时间。token 是模型处理的文本单位。API 修复后成绩包含外部模型协助。
原文 §4.2；公开任务 / API 提示。修复不得改预期行为，但每轮代码改动未公开。未公开文件隔离配置
JUDGE · 一次独立模型调用怎样给分07 / 18
Opus 5.5 看动画采样帧，不读代码事件日志
完成提交代码和 Blender 场景
采样动画帧T1：6 张生成帧
T3-1：9 张生成帧
T3-1：9 张生成帧
提供评价资料参考帧或组件 / 任务条件
返回分数JSON；按任务采用 V / M / ECM / G
| 分数 | 用于哪些任务 | 具体判断 |
|---|---|---|
| V · Visual Structure | 全部 | 几何、连接与呈现；结构正确但呈现普通一般 ≤ 8 |
| M · Mechanical Motion | T1 | 整体运动与约束；参考和生成帧不按下标配对 |
| ECM · 机械执行分 | T2 / T3 | 组件动作与机械传递；断链影响后续各段 |
| G · 条件满足率 | T3-2 | 每条初始、中途、最终条件必须全部满足 |
T2/T3-2 提示没有统一指定帧数。批量执行程序（runner）、采样参数和汇总代码尚未公开。
公开 eval/t1、eval/t2、eval/t3 提示；原文 §4.1。流程为本文梳理。评分提示已公开，完整评测程序未公开
JUDGE · 多级机械动作与传递08 / 18
每个组件一段；断链后独立运动不再得分
ECM（Executable Causal Mechanism）同时看前一级对后一级的机械传递，以及后一级完整动作。T2 顺序已给，T3-1 顺序须从帧推断。
initial → C19C1 完整动作
C1 → C28传递 + C2 动作
C2 → C32传递仅部分成功
C3 → C40断链；后来独立启动无效
ECM = (9 + 8 + 2 + 0) / 4 = 4.75。这是教学分数，非实测日志。N 个组件对应 N 段，不是 N−1。
T3-2 公开提示输出整体 ECM 整数，与正文的笼统分段均值说明不同；不能擅自补出其实现。
公开 eval/t2/prompt1.txt 与 eval/t3/prompt1_1.txt；分数图为本文教学示例。时间先后本身不足以证明机械因果
REAL CASE · t3/task2/053 · 与论文 pp.20–21 对应09 / 18
B 先接近路口，A 先获得通行权
A、B 是运载物，各有目标体积；共享区边界在模拟前声明。被动 object_A 必须机械地控制 B 的进入。
进入：任意碰撞几何与共享区重叠。离开：全部碰撞几何清出。检查点：中心正向过内部平面。到达：整物体被目标包含。
初始 A、B 静止、在共享区与目标外。state_A0 / state_A1 是预先声明且不重叠的机械姿态范围。
公开 task 053 与 API prompt；Figure 9（裁切）。payload = 要运输的物体，不限球
REAL CASE · 规则规定过程，不能仅看最终位置10 / 18
A 完全离开，才机械地允许已运动的 B 进入
1 · B 开始接近必须早于 A 进入；B 仍在共享区外
2 · A 通过进入 → 检查点 → 全部离开
3 · 机构改变A 离开产生真实机械作用
4 · B 被放行进入 → 检查点 → 离开
5 · 持续保持各在目标内，机构处于 state_A1
E_start_B < E_enter_A
E_exit_A ≤ E_change_A1 ≤ E_enter_B
E_exit_A < E_enter_B
E_exit_A ≤ E_change_A1 ≤ E_enter_B
E_exit_A < E_enter_B
R05 允许相邻事件同一模拟步发生；R06 仍规定 A 离开严格早于 B 进入。
教学失败例：中心出路口、尾部未出就放 B，会违反完全离开 / 无同时占据；A 走完才启动 B，违反 R13；定时开门，违反物理依赖。这些不是模型实测日志。
公开 task 053：R02 / R05 / R06 / R12 / R13。时间关系为本文梳理。最终需保持多久 / 运动阈值未规定
REAL CASE · 看原图，不编造未发布的判分日志11 / 18
G=100% 仍可能只有 ECM=5
Figure 9 原图 · 每行是同一输出的四个时刻
V、ECM、G 独立评价。目标条件全部被判满足，也不强制机械分为 10。
原规格有 7 条 I、13 条 Rules、3 条 F。但 Rules 到评分 B 条目的逐项映射未公开。
不能拿 23 当官方评分分母，反推 28.60% 通过了哪几条。
这是作者选择的代表结果，没有逐条 judge 输出或生成代码，不能把缩略图变成详细失败日志。
Figure 9；公开 task 053；eval/t3/prompt2_1.txt。Judge 只使用可见证据
AGGREGATION · 一道题的条件分，怎样变成榜单12 / 18
先按题算比例，再平均；执行失败的题记零
G（Goal Satisfaction）对每条初始 I、中途 B、最终 F 条件给 0/1。部分、近似、证据不足都为 0。
G_i = (P_i^I + P_i^B + P_i^F) / (N_i^I + N_i^B + N_i^F)
G = mean_i G_i
G = mean_i G_i
| 教学题 | 通过 / 总数 |
|---|---|
| A | 3 / 4 |
| B | 1 / 2 |
按题平均：62.50%。全部条目混算：66.67%。论文用前者。
主表：全部题目的均值。附录：只对能执行的题计算质量均值。
Astra T1：94% × 5.40 ≈ 5.08。Kimi T3-2：(49/60) × 22.20% = 18.13%。
原文 §4.1 Eq.(1)–(2)、Tables 1/6、4/9；示例条件数虚构，末两项是表值算术复核。G 不是严格任务成功率
RESULTS · 执行错误与机械错误分开看13 / 18
能运行的程序，仍可能接不通整条链
Table 2 原表 · 点击看完整大图
T2：Kimi 修复后 79% 可执行，ECM=0。Codex ECM=5.25，Claude Code=4.08。
T1 也有差距：Kimi 执行率 8% → 86%，M 仅 0.04 → 0.80。
T3-1：Codex ECM=6.11；Astra API 修复后=3.34。
不同任务分布，不是同题受控去提示实验；跨 T1/T2/T3 比分数要谨慎。
主表 Tables 1–3；全题均值。单题 Figure 7 中 Astra API 的 ECM 高于 Codex。平均领先不等于逐题领先
RESULTS · T3-2 · 60 道目标设计题14 / 18
Codex 的 90.14% 是条件满足率，机械分为 5.82
Table 4 原表 · 点击放大
Astra API 修复后 91.67% 能执行，G=41.07%，ECM=2.55。
Kimi 修复后 81.67% 能执行，G=18.13%，ECM=0.63。
初始位置容易满足；中途行为和最终持续状态更难。
Harness 可多轮执行修改。当前实验没有分离基础模型、更多尝试、执行反馈与外部修复的贡献。
Table 4；I/B/F 类别结果见原 Figure 5，正文保留全部附录表。无严格整题成功率
ANALYSIS · 长链意味着更多接触与传递机会15 / 18
机械级数增加，ECM 总体下降；Codex 相对稳定
横轴 Step 是装置的机械执行级数。断链后下游零分，会放大早期错误的影响。
曲线有波动，非逐点下降。未给各组题数、误差条，组件分布也可能不同，不能估算普适的每级损失。
原文 §4.6 / Figure 2；本文解释断链规则对均值的影响。题目级数 ≠ Agent 修改轮数
ANALYSIS · 看到怎样运动，仍要写出正确结构16 / 18
增加运动帧通常帮助有限，也有负结果
T1 的 Figure 3：Codex M 6.32 → 7.08；Astra API 5.08 → 3.40。更多观察不保证更好实现，不能省去反例再概括为普遍提升。
原文 §4.7 / Figures 3–4，完整原图均在正文。未补齐各设置执行率与重复统计
RELATED WORK / LIMITATIONS · 任务内容和判分证据分开比较17 / 18
机械组合是特色，直接状态验证已有前作
| 主要证据 | 更适合回答 | |
|---|---|---|
| PhysCodeBench v2 | 引擎物理量、专家断言与守恒检查 | 物理量和规律是否正确 |
| WorldCoder-Bench | 动作后的运行状态与隐藏规则；故障注入校准 | 浏览器 3D 的行为和界面状态是否一致 |
| ExeWorldBench | 采样动画帧与机械 / 目标评分提示 | 复杂 Blender 机构是否呈现连贯机械过程 |
帧中的先后运动不能充分证明代码物理依赖；提示中的“移除 A 会怎样”没有实际干预执行。
值得补：可信引擎事件、真实阻断 / 移除实验、错误实现检出率，同模型匹配预算，以及多次运行与人工一致性。
ExeWorldBench §2–4；PhysCodeBench v2 §3–4；WorldCoder-Bench §2–3。补实验为本文分析。不把前作概括成“只看画面”
CONCLUSION · 博客作者兴趣程度 9 / 1018 / 18
读任务与判分细节，再理解榜单
值得保留
四种提示边界；053 的提前接近与机械放行；断链零分；主表与附录的不同分母。
当前证据
执行率能高，机械分仍很低。Harness 平均领先，但没有匹配预算或分离反馈贡献。
仍缺材料
批量执行程序、组件实现、每轮修复改动、Rules → B 映射、逐题分数与采样参数。
正文可独立阅读，含全部 9 张原图、9 张原表、公开提示细节与可运行的算术例子。图表点击可放大；底部“回文章”始终有效。
论文 v1；GitHub 06bb542；Hugging Face c6dc85e。兴趣分仅说明与博客作者的兴趣相关程度。继续读正文 →