01 · TASKarXiv:2610.04432v1 · 2026-10-03

从一段操作视频,交付能执行同一任务的模拟程序包

Video2World 测能写代码的 Agent 是否会恢复场景、把示范动作转换到目标机器人上、生成控制程序并调通物理执行。

189输入视频
222视频与目标配置组合
39任务类别
原论文 Figure 1
原论文 Figure 1(CC BY-SA 4.0)1 / 19
02 · PART 0what “world model” means here

这里的 world model 不是未来帧生成,而是可继续操作的世界

视频生成

输出看起来真实的画面;不要求对象可碰撞、机器人可控制。

三维重建

恢复形状与外观;不一定能完成原任务。

Interactive world modeling

把场景、资源、机器人、动作与物理参数写成可执行程序。任务评分器还要确认确实完成目标。

任务成功记为 Task Success。瓶子即使很像,若抓不住、没立稳或没松手,这项仍为 0;能加载场景只说明 Build 成功。

论文 Introduction、Section 32 / 19
03 · OVERVIEWagent construction → hidden evaluation

Agent 看视频、写程序包并检查候选;隐藏评测器最后统一执行

原论文 Figure 2
原论文 Figure 2:完整 benchmark overview3 / 19
04 · RELATED WORKthe exact boundary

它把动作策略、真实场景转模拟、三维重建与代码生成放到同一评测

路线主要输出与 Video2World 的差别
Video2Policy从人类视频学习机器人动作策略不要求 Agent 交付场景、资源与完整模拟程序包
Agentic Real2Sim自动把真实场景还原到模拟器问题最接近;这里统一任务、隐藏参考与多套代码 Agent 的比较
BVB视频到 Blender 场景与构建过程视觉重建为主,不以机器人控制和任务评分为中心
SceneActBench在已有三维场景里执行视觉指定的操作不从操作视频恢复整个模拟世界与机器人控制
CaP-X / EmbodiedSWE代码控制机器人完成具身任务以控制行为为主,不同时评测整个世界的重建
论文 Table 1 与 Related Work;相邻论文官方摘要复核4 / 19
05 · 数据Table A8 · 九组来源

189 段视频换用不同目标机器人,形成 222 个实例

机器人示范

FurnitureBench 64
DROID 20
RoboDojo 25

人类操作视频

视频数 → 实例数
HOI4D 9→18
HOT3D 7→14
DexYCB 11→22
OakInk2 6→12

其他来源

作者补采 37
已有重建对照 10

为什么会增加

33 段人类视频同时配机械臂与 paired-hand(成对机械手)两种目标配置。

最终是 39 个 task families(共用一套判定逻辑的任务类别);各类等权,样本多的来源不会自动获得更高权重。

Section 3.1;Appendix B.1–B.2;Figure A1 / Table A85 / 19
06 · ANNOTATIONvideo → evaluation specification

人工复核的对象级评测规则定义任务是否完成,不要求逐像素复刻

原论文 Figure A2

HOI4D bottle transfer

87 帧、15 Hz。标注拿起与松手时刻、瓶子高度轨迹、初始与接收支撑面,以及终态放置的允许范围。

图中的手绘轮廓只是视觉说明,不是 segmentation label(逐像素分割标注);轨迹和条件来自隐藏人工标注,也不会给 Agent。

原论文 Figure A2、Appendix B.36 / 19
07 · INFORMATION BOUNDARYwhat the agent does and does not know

Agent 只拿到 RGB 与公共接口;参考几何、轨迹和评分规则隐藏

可以看到

  • RGB 视频、尺寸、帧数
  • 模拟器与机器人的公共说明
  • 机器人资源、关节范围、控制格式
  • 终端、文件、图像、代码工具
  • 自己的候选重建、渲染画面与报错

不能看到

  • 参考场景与表面网格
  • 原示范的测量轨迹与机器人日志
  • 隐藏的相机标定参数
  • 参考控制序列与提交包
  • 按任务编写的成功条件与评测分数
Sections 3.2、B.3、Appendix A7 / 19
08 · PACKAGEwhat must be executable

提交包同时描述场景、控制协议和动作序列

提交与评测协议
protocol.json
actions.npy
scene.json | scene.xml
assets/
expected/obj_poses.npy  # optional
source/
report.md

obj_poses.npy 只声明预期轨迹,不能驱动物体;运动必须由机器人控制和模拟器物理产生。

官方 docs/benchmark.md;Appendix A8 / 19
09 · EVALUATORpackage → verdict

Build、功能、几何和运动来自同一次记录下来的物理执行

1检查格式

文件结构、资源与控制数组。

2构建

在 SAPIEN / Isaac Sim / MuJoCo 加载。

3执行

按时间步施加机器人控制。

4判定

检查事件、顺序、终态与物理有效性。

5比较

与隐藏参考对齐几何和轨迹。

Build 成功只说明程序包能加载。最强系统 Build 约 93%,Task Success 却只有 25.5%。

Sections 3.2-3.3;Appendix C;官方 runner / metrics9 / 19
10 · WORKED CASEDROID upright bottle

真实案例:83 帧视频 → 97×7 控制数组 → 97 个执行状态

原论文 Figure A3
0.4 s

抓住

2.6 s

开始移动

12.8 s

松手

19.2 s

终态通过

输入 640×640、7.5 Hz、约 10.93 s。外部控制程序在两轮间执行候选并回传画面,本例 Agent 无直接模拟器工具。后 41 个状态只参与终态检查,不进入运动误差。

原论文 Figure A3、Appendix B.410 / 19
11 · TASK JUDGEupright bottle verdict

PASS 不是“最后一帧像直立”,而是支撑、方向、释放与静止同时成立

# simplified from v2w/metrics/task.py:652-675
geometry_ok = supported and angle_deg <= 30
success = geometry_ok and released and quiescent

初态检查

一开始已满足直立目标时,不动作不能得分。

桌面支撑

实测支撑间隙 <0.01 mm;允许间隙 1 cm,桌边余量 5 mm。

姿态

直立容差 30°;本例瓶轴与桌面法线约差 0.009°。

结果

Build=1,Success=1,Progress=100%。

task.py:652–675;Appendix B.4;仍被夹持或缺静止证据均 FAIL11 / 19
12 · V2WSCOREfunction + geometry + dynamics

先把误差换成质量分,再按实例、任务类别两级平均

quality(e) = max(0, 1 − e / τ)
F = (Success + Progress) / 2
V2WScore = Build × (F + G + D) / 3

功能 F

Task Success 与分阶段进度的平均。

几何 G

场景、形状与尺寸质量分的平均;阈值 τ=10 cm。

运动 D

绝对平移/旋转、相对平移误差,阈值依次为 20 cm / 90° / 10 cm。

瓶子实例按公开公式解释性重算约 80.6,但论文没有发布它的正式实例复合分,不能当官方数值。

v2w/scoring.py:219–305;v2w/config/score.json12 / 19
13 · MAIN RESULT九套 Agent 系统 + 人类辅助重建(HAR)

Fable-5.1 总分与任务成功率最高;Astra 的部分物体几何指标更好

主结果重绘
根据原论文 Table 2 重绘;39 个 family 等权平均13 / 19
14 · HUMAN CHECKSpreference and effector motion

HAR 更强,但它能使用额外的原始数据,也不是完美上限

HAR 是人类辅助重建,可用 CAD、RGB-D、相机标定、机器人日志、任务规则与人工调试14 / 19
15 · 动作与场景互换Table A14–A15 · 条件子集,非全 benchmark

自家场景与动作一起成功,拆开后仍可能同时失败

Set A:读取物体状态的固定控制器在 HAR 场景成功的 20 个实例。Set B:HAR 动作在 HAR 场景成功的 44 个实例。

执行配置Set A(可用记录合并)Set B(可用记录合并)
Agent 动作 × Agent 场景24.3% / 177 条16.2% / 390 条
Agent 动作 × HAR 场景,原样2.3% / 174 条2.3% / 385 条
同一动作按隐藏初始物体位置平移15.5% / 174 条15.1% / 385 条
HAR 动作 × Agent 场景12.1% / 174 条9.9% / 385 条

自家执行已成功的记录中,19/43 与 30/63 同时未通过两项互换测试(44% / 48%)。场景与动作可能互相适配;不能推成场景对所有控制器都不可用。

根据 Appendix D.1 / Tables A13–A15 整理;平移用了特权位置,执行条件未完全匹配。15 / 19
16 · JUDGE REFINEMENTfunction is not geometry

成功交互与几何误差分开测;评分规则也需要用反例修正

原论文 Figure A5

错误接受

只看终点的规则曾让初态已经满足宽松目标的灯罩得分;加入“必须离开初始目标并重新放置”后才修正。

错误拒绝

两个 Astra 立瓶子结果已直立、支撑、释放,却因错误轴方向与不必要的绝对终点约束被拒;人工复核后改为通过。

原论文 Figure A5、Appendix B.716 / 19
17 · SAME VIDEO, DIFFERENT FAILUREScase studies

几何接近、终点位置正确或画面里物体被抬高,都不自动等于成功

原论文 Figures A7-A1017 / 19
18 · EMBODIMENT & TIMINGtwo final case studies

换机器人会改变结果;动作慢几秒也可能成功,但轨迹误差变大

原论文 Figures A12-A1318 / 19
19 · VERDICTinterest 9.2 / 10

可执行评测链已经成立;统计分母和受控系统比较仍需补齐

论文已经建立

  • 视频 → 程序包 → 物理执行 → 任务判定的完整协议
  • 功能、几何和轨迹分开报告
  • 真实案例暴露多个“看起来对、执行不对”的失败

仍不能忽略

  • 222 / 215 / 179 / 112 分母未对齐;HAR 类别均值主表58.8%、附录 C.5为57.3%
  • OpenCode、Codex CLI、Claude Code 使用的 harness 不同
  • HAR 用额外信息;附录 C.5 对 18 个 A2 不可行实例保留/剔除的描述互相冲突
  • 人工研究的评审来自作者与公司内部

很多系统能造出可加载的世界,却不能让机器人在其中稳定完成视频里的任务。

博客作者兴趣度只表示本人兴趣;不是论文质量评级19 / 19