CodeCap-Bench · 核心问题01 / 15

一段视频,能不能用可执行代码描述?

CodeCap-Bench: Can Code Serve as a Good Video Caption? · 323 段结构化 2D 视频

观察原视频座位布局、滚动、悬停与选择
写程序形状 + 布局规则 + 时间函数
浏览器执行在每个时刻重建可见画面
检查保留内容整体画面、对象位置、具体事件
论文有两个问题:这种表示对下游任务是否有用?当前模型能否把它写准确?CodeCap-Bench 评测模型能力,未进行 SFT、RL 或蒸馏。

§1、§3;Figure 1原文 ↗