
本论文报告轨迹 SFT,未报告 RL。35B 模型在部分指标超过大模型;复杂多页交互仍困难。
WebUniverse · 总览01 / 16
WebUniverse 把可重用任务环境与通过验证的开发轨迹一起发布。

本论文报告轨迹 SFT,未报告 RL。35B 模型在部分指标超过大模型;复杂多页交互仍困难。
Figure 1;§4.1;Appendix D.1论文 ↗
WebUniverse · 训练边界02 / 16
验证分数用于保留轨迹和提供失败反馈,论文未将它写成策略梯度目标。
§3.2–3.4;§4.1;D.1;流程为本文绘制论文 ↗
WebUniverse · 数据覆盖03 / 16
文字任务要求行为正确;视觉任务要求按给定截图复现页面。
| 任务 | 数量 | 模型收到什么 |
|---|---|---|
| 文字:独立开发 | 6355 | 高层或详细需求;空目录或脚手架 |
| 文字:迭代开发 | 4145 | 当前变更需求;前一步已通过的代码 |
| 视觉:单页 | 1283 | 一张参考页面;资源与尺寸 |
| 视觉:多页 | 1069 | 多张页面;导航路径 |
| 视觉:多视口 | 2148 | 桌面、平板、手机参考与尺寸 |
文字 10,500 / 视觉 4,500。覆盖1,559个仓库与3,500个网站;不是15K段完整项目历史。
§3.1、3.5;B.1;官方 Mix dataset card论文 ↗
WebUniverse · 构建流程04 / 16
文字种子由模型读仓库后总结;视觉任务由真实网页截图和固定模板构建。
| 顺序 | 谁做什么 | 保存或传递什么 |
|---|---|---|
| 构建任务 | 作者选仓库与网页;模型写文字需求 | 需求、资源、起始工作区、检查条件 |
| 开发应用 | 模型在OpenCode里读写与运行 | 文件变更、工具调用和观察记录 |
| 独立验证 | 脚本、GUI agent或看图模型检查成品 | 结果、分数、失败证据 |
| 再次修复 | 模型接管失败工作区或接续旧对话 | 修改后的应用与新轨迹 |
| 筛选发布 | 作者保留通过验证、记录完整的样本 | Env:可重用任务;Mix:开发轨迹 |
验证失败可以返回修复;修复后的成品仍需重新验证。完整Figure 2在正文3.1旁保留。
§3;Figure 2;表为本文按实际步骤整理论文 ↗
WebUniverse · 模型分工05 / 16
75.3%的保留轨迹由 GPT-5.6 Sol 贡献;教师与验证器的角色要分开。
| 阶段 | 负责者 | 产物 |
|---|---|---|
| 读仓库 | GPT-5.5 | 功能、用户动作和界面变化的描述 |
| 生成文字任务 | GPT-5.4 / 5.5 / 5.6 Sol | 新场景下的开发需求 |
| 开发演示 | 六模型池,主要 GPT-5.6 Sol | 读文件、编辑、执行、检查、修复 |
| 功能脚本构建与复核 | GPT-5.4 / 5.5 / 5.6 Sol | 测试代码及错误假设审查 |
| GUI与视觉验证 | GPT-5.6 Sol | 逐项观测、结论或截图评分 |
| 最终微调 | Qwen3.5-35B-A3B | 除视觉塔外更新参数 |
A.5;B.1;§4.1论文 ↗
WebUniverse · 失败后的接续06 / 16
workspace handover 开新对话接管失败代码;conversation continuation 保留并压缩旧对话。
§3.2;A.5;Mix card messages.loss;公式为本文说明论文 ↗
WebUniverse · 真实开发案例07 / 16
这是 Appendix C 的训练数据示例;作者公开了需求、实现片段和选出的开发步骤。
Appendix C / Figure 6;网格为机制示意,不是原任务截图论文 ↗
WebUniverse · 如何验证08 / 16
细节需求可写脚本;高层需求通过浏览器探索;截图复现通过看图模型评分。
| 检查器 | 可检查的内容 | 保留条件 |
|---|---|---|
| Browser scripts | 源码要求;Playwright交互与外观 | 所有测试通过;复核完成无遗留问题 |
| GUI agent | 只用浏览器;每测试记录 pass / fail / blocked | 所有测试通过 |
| Visual judge | 成品与参考逐页面、逐视口比较 | 每项 ≥ 0.75;页面不可达为0 |
生成测试时不读答案;失败测试若擅自增加要求,就重写测试并在未修改的应用上重跑。
§3.3–3.4;A.7论文 ↗
WebUniverse · 检查器可信度09 / 16
一位作者抽查600次尝试;每检查器各100个接受、100个拒绝样本。

脚本:TP98、FP2、TN91、FN9,准确率189/200=94.5%。这份抽查按机器结论平衡,不能直接外推全库误判率。
Table 9;B.2;计数为本文重算论文 ↗
WebUniverse · 评测分数10 / 16
作者用 OpenCode 适配三个既有 benchmark;同一benchmark内部固定评测器。
| 评测 | 分母与聚合 | 判断者 |
|---|---|---|
| Vision2Web Level 1 | 100任务 × 3视口;先区域均分再300视口平均;缺失=0 | GPT-5 |
| WebGen-Bench | 101应用全部检查合并;YES=1 / PARTIAL=0.5 / NO或缺失=0 | GPT-5.4 |
| Web-Bench | 50项目 × 20连续任务;pass@1、pass@2及均值 | 官方测试脚本 |
Web-Bench前步失败会阻断后步。论文未在这里给出全部官方计分公式;主表每模型、每benchmark只跑一轮。
§4.1;D.3论文 ↗
WebUniverse · 真实功能案例11 / 16
官方 Task 000020 的已记录检查;不是整个 WebGen-Bench 的通过率。
| 评测记录中的检查 | Qwen3.5-35B-A3B | Qwen3.5-WebUniverse |
|---|---|---|
| 套餐详情(Plan details) | Fail | Pass |
| 支持聊天(Support chat) | Fail | Pass |
| 账户更新(Account update) | Fail | Pass |
| 页面导航(Navigation) | Pass | Pass |
| 指定颜色(Requested colors) | Pass | Pass |
成品要同时实现界面与状态变化。原始Figure 5在正文4.1旁保留;外部检查执行日志未在本文复跑。
Figure 5;官方项目页 Task 000020;表为本文整理论文 ↗
WebUniverse · 主结果12 / 16
WebUniverse-Mix 在主表所有指标上超过 StepFun-Mix;两者没有匹配token或教师采集预算。

WebGen-Bench 34.5%→63.9%;视觉51.7→68.3;连续开发 pass@2 12.2%→23.1%。后者仍低于四个参考强模型。
Table 2;D.2–D.3;主实验每项一轮论文 ↗
WebUniverse · 关键消融13 / 16
文字单独训练的功能收益较强;完整混合在所有已报告指标上最好。

视觉单独训练:WebGen-Bench 34.5%→12.1%,Web-Bench pass@2 12.2%→6.8%。各子集大小不同,不能视为等token的纯模态因果比较。
Table 3;§4.3论文 ↗
WebUniverse · 数据扩展14 / 16
三个子集严格嵌套,保持混合比例、训练配置和epoch数。

视觉:63.9→66.2→68.3;功能:49.1→58.2→63.9;连续开发均值:14.9→17.7→18.5。图中y轴起点不是0。
Figure 4;§4.3;D.1论文 ↗
WebUniverse · 最强限制15 / 16
Level 2共66任务、每模型3次;综合分取逐轮组合后的中位数。
| 证据 | 基础模型 | 微调后 |
|---|---|---|
| Level 2视觉中位数 | 32.7 | 37.6 |
| Level 2功能中位数 | 48.3 | 48.5 |
| Level 2综合中位数 | 40.3 | 42.5 |
| Web-Bench第二次尝试不改代码 | 2/83 = 2.4% | 23/72 = 31.9%,全部失败 |
某轮Level 2有18/66双零分:13白屏、4端口错误、1循环。13个白屏任务全做HTTP检查,却全未记录查看成品截图。
Table 10;F.1、F.4;Table 13;不同补充实验不混算论文 ↗
WebUniverse · 结论16 / 16
值得继承的是环境、验证证据与失败修复记录;下一步RL或自蒸馏需另做实验。
| 已支持 | 尚未建立 |
|---|---|
| 同15K样本预算优于公开数据基线 | 等token、等采集成本的优势 |
| 文字与视觉混合覆盖更完整 | 可视数据天然改善功能开发 |
| 更多检查伴随更好平均分 | 检查、修复各组件的独立因果收益 |
| 可以重用环境继续采集 | 本论文已做RL / OPD / 在线自蒸馏 |
公开数据说明可读;原始parquet、导出脚本与环境程序需登录同意许可。本次结论依据论文训练描述和数据说明,不冒称完整训练代码审计。
§4;Appendix D、F;官方 HF发布,核对2026-11-06论文 ↗