视频生成
输出看起来真实的画面;不要求对象可碰撞、机器人可控制。
三维重建
恢复形状与外观;不一定能完成原任务。
Interactive world modeling
把场景、资源、机器人、动作与物理参数写成可执行程序。任务评分器还要确认确实完成目标。
任务成功记为 Task Success。瓶子即使很像,若抓不住、没立稳或没松手,这项仍为 0;能加载场景只说明 Build 成功。
Video2World 测能写代码的 Agent 是否会恢复场景、把示范动作转换到目标机器人上、生成控制程序并调通物理执行。

输出看起来真实的画面;不要求对象可碰撞、机器人可控制。
恢复形状与外观;不一定能完成原任务。
把场景、资源、机器人、动作与物理参数写成可执行程序。任务评分器还要确认确实完成目标。
任务成功记为 Task Success。瓶子即使很像,若抓不住、没立稳或没松手,这项仍为 0;能加载场景只说明 Build 成功。

| 路线 | 主要输出 | 与 Video2World 的差别 |
|---|---|---|
| Video2Policy | 从人类视频学习机器人动作策略 | 不要求 Agent 交付场景、资源与完整模拟程序包 |
| Agentic Real2Sim | 自动把真实场景还原到模拟器 | 问题最接近;这里统一任务、隐藏参考与多套代码 Agent 的比较 |
| BVB | 视频到 Blender 场景与构建过程 | 视觉重建为主,不以机器人控制和任务评分为中心 |
| SceneActBench | 在已有三维场景里执行视觉指定的操作 | 不从操作视频恢复整个模拟世界与机器人控制 |
| CaP-X / EmbodiedSWE | 代码控制机器人完成具身任务 | 以控制行为为主,不同时评测整个世界的重建 |
FurnitureBench 64
DROID 20
RoboDojo 25
视频数 → 实例数
HOI4D 9→18
HOT3D 7→14
DexYCB 11→22
OakInk2 6→12
作者补采 37
已有重建对照 10
33 段人类视频同时配机械臂与 paired-hand(成对机械手)两种目标配置。
最终是 39 个 task families(共用一套判定逻辑的任务类别);各类等权,样本多的来源不会自动获得更高权重。

87 帧、15 Hz。标注拿起与松手时刻、瓶子高度轨迹、初始与接收支撑面,以及终态放置的允许范围。
图中的手绘轮廓只是视觉说明,不是 segmentation label(逐像素分割标注);轨迹和条件来自隐藏人工标注,也不会给 Agent。
protocol.json actions.npy scene.json | scene.xml assets/ expected/obj_poses.npy # optional source/ report.md
obj_poses.npy 只声明预期轨迹,不能驱动物体;运动必须由机器人控制和模拟器物理产生。
文件结构、资源与控制数组。
在 SAPIEN / Isaac Sim / MuJoCo 加载。
按时间步施加机器人控制。
检查事件、顺序、终态与物理有效性。
与隐藏参考对齐几何和轨迹。
Build 成功只说明程序包能加载。最强系统 Build 约 93%,Task Success 却只有 25.5%。

抓住
开始移动
松手
终态通过
输入 640×640、7.5 Hz、约 10.93 s。外部控制程序在两轮间执行候选并回传画面,本例 Agent 无直接模拟器工具。后 41 个状态只参与终态检查,不进入运动误差。
# simplified from v2w/metrics/task.py:652-675 geometry_ok = supported and angle_deg <= 30 success = geometry_ok and released and quiescent
一开始已满足直立目标时,不动作不能得分。
实测支撑间隙 <0.01 mm;允许间隙 1 cm,桌边余量 5 mm。
直立容差 30°;本例瓶轴与桌面法线约差 0.009°。
Build=1,Success=1,Progress=100%。
Task Success 与分阶段进度的平均。
场景、形状与尺寸质量分的平均;阈值 τ=10 cm。
绝对平移/旋转、相对平移误差,阈值依次为 20 cm / 90° / 10 cm。
瓶子实例按公开公式解释性重算约 80.6,但论文没有发布它的正式实例复合分,不能当官方数值。


Set A:读取物体状态的固定控制器在 HAR 场景成功的 20 个实例。Set B:HAR 动作在 HAR 场景成功的 44 个实例。
| 执行配置 | Set A(可用记录合并) | Set B(可用记录合并) |
|---|---|---|
| Agent 动作 × Agent 场景 | 24.3% / 177 条 | 16.2% / 390 条 |
| Agent 动作 × HAR 场景,原样 | 2.3% / 174 条 | 2.3% / 385 条 |
| 同一动作按隐藏初始物体位置平移 | 15.5% / 174 条 | 15.1% / 385 条 |
| HAR 动作 × Agent 场景 | 12.1% / 174 条 | 9.9% / 385 条 |
自家执行已成功的记录中,19/43 与 30/63 同时未通过两项互换测试(44% / 48%)。场景与动作可能互相适配;不能推成场景对所有控制器都不可用。

只看终点的规则曾让初态已经满足宽松目标的灯罩得分;加入“必须离开初始目标并重新放置”后才修正。
两个 Astra 立瓶子结果已直立、支撑、释放,却因错误轴方向与不必要的绝对终点约束被拒;人工复核后改为通过。






很多系统能造出可加载的世界,却不能让机器人在其中稳定完成视频里的任务。