选工具、有限参数、是否停止等决定，先由小模型对选项给概率。低于阈值才请大模型决定；自由文本仍由大模型生成。
JevAgentHarness · Zhu et al. · 2026-10-1501 / 14
小模型能接管哪些决定，什么时候该交回？
§1–2 / Figure 3论文 PDF
JevAgentHarness · Zhu et al. · 2026-10-1502 / 14
分别测试，再冻结组合到新任务
Stage 1：影子记录、拟合阈值、单项执行测试。Stage 2：冻结选出的接管组合，测试新题。训练主要收益来自 SFT，不是图中所有阶段都有增益。
Figure 2 / §6论文 PDF
JevAgentHarness · Zhu et al. · 2026-10-1503 / 14
谁提议、谁决定，五种模式不同
| 模式 | 控制权 |
|---|---|
| Replace | 小模型总做决定 |
| Cascade | 小模型先答，低置信度交回大模型 |
| Assist | 小模型缩小候选，大模型最终选 |
| Guard | 大模型提议，小模型批准或退回 |
| Trigger | 小模型决定可选步骤是否运行，如反思 |
Guard 是模型判断，不是可靠的安全边界。不同模式不能统称为替代大模型。
§2 / Figure 3论文 PDF
JevAgentHarness · Zhu et al. · 2026-10-1504 / 14
五次工具选择接管，仍有两次大模型调用
4B 选 ask_user → find_user → get_orders → ship_order → finish。大模型写追问和最终回复：5→2 次调用，$0.0301→$0.0042，4.4→3.7 秒。
Figure 11 / p.43；按 seed 选出的诊断案例论文 PDF
JevAgentHarness · Zhu et al. · 2026-10-1505 / 14
0.993 看似很高，仍可能低于接管阈值
Alice：工具 ask_user 的 0.96 ≥ .45，由小模型决定。
缺少 shipping_speed 的 0.993 < .996，参数交回；自由文本追问也需要大模型。
不同模型、决定位置要分别拟合，不能套用同一个 0.5。
τ = max(0, qL − ΔC / V)
理想化：正确率已校准。实际按置信度分箱估计收益；找不到可靠区间就全部交回。
150 校准题，shadow 只记候选不执行。错误价值 V 是观察估计，不是因果保证。
§2.1 / Appendix A；固定 .5 对照少成功21.5点论文 PDF
JevAgentHarness · Zhu et al. · 2026-10-1506 / 14
生成器写世界和答案键，不是人工逐题标注
Lena 有 ORD-3872 与 ORD-4002 两张 pending order，先查再问 order_id。客户回复 ORD-4002 后才能取消；答案键不进入模型提示。
Table 6 / p.19；非模型日志论文 PDF
JevAgentHarness · Zhu et al. · 2026-10-1507 / 14
猜中了订单，也不能跳过确认
可见输入
请求、工具说明、已返回观察。不能用检查器知道的订单号冒充已查明。
实际执行
正确 ask_user 后，程序返回客户选择。取消 ORD-4002，reason=customer_request。
0 / 1 验收
未问就写状态、错订单、近似写工具立即 FAIL；只读绕路只增加步数。
if family == "clarify" and not asked:
acceptable_write = False
# 严格模式：错误修改状态立即结束任务依据官方 jevgym.py 的教学删节，不是完整独立检查器。
jevgym.py fixed f2932199 / §3论文 PDF
JevAgentHarness · Zhu et al. · 2026-10-1508 / 14
同一状态答题，和真的执行必须分开
| 层次 | 输入 / 执行 | 分数 |
|---|---|---|
| L1 | 3,991 道独立决定 | 局部工具、参数与调用判断准确率 |
| L2 | 200 题、5,314 状态，各模型答同一记录 | 每题先算状态准确率，再对题平均 |
| L3 | 选择真的执行，后续状态随模型变化 | 严格终态要求，每题 0/1 |
无法恢复的 L2 状态排除；L3 错误状态修改立即 FAIL。模板基线 L2 达97.5%，生成器固定套路需要单独警惕。
§3 / Appendix B,E / Table22论文 PDF
JevAgentHarness · Zhu et al. · 2026-10-1509 / 14
SFT 有效，OPD 没被保留
15,694 状态，30.9% 在错误后。Jev 选对时目标 .3 gold + .7 Jev，选错只用 gold。SFT：交叉熵 + .5 Brier；OPD：学生新状态上向独立 Jev 学选项概率。
Appendix D / Table16；不是特权代码 OPSD论文 PDF
JevAgentHarness · Zhu et al. · 2026-10-1510 / 14
不能把算法名字当作实验收益
| 对照 | 结果 | 能得出什么 |
|---|---|---|
| Qwen SFT → OPD | 开发99.7→98.9；错误后99.8→97.9 | 本设置没额外收益，不是OPD普遍无效 |
| StartLux SFT / OPD / GRPO | 困难开发71.5 / 66.5 / 62.5 | 作者保留SFT |
| 25%任务：gold / 混合 / Jev | L2 98.9 / 98.5 / 93.2 | 教师软标签没有不可缺证据 |
| SFT / +GRPO | 变化任务L3同为96.0 | 再花4.5GPUh没有测出收益 |
Tables15–17；一seed / 开发与测试不混用论文 PDF
JevAgentHarness · Zhu et al. · 2026-10-1511 / 14
0.98 直接退款，仍是不可撤销错误
缺退款方式时唯一可接受工具是 ask_user。猜中 original_payment 也不合格。两边选所有工具、不用阈值；大模型填参数。
Figure12 / p.43；诊断样例，不是阈值实验论文 PDF
JevAgentHarness · Zhu et al. · 2026-10-1512 / 14
新规则下，置信度没有及时交回控制权
10客户：大模型88%，未见规则4B只有3%；152题错误写状态。
12客户：4B只有0.5%。重拟合后所有工具交回；重训改善，但可靠性检验仍不足。
换名字的 shifted tasks 与新增等级/金额规则的 Hard tasks 是不同实验。
Table19 / D.6；不要只报最大降本论文 PDF
JevAgentHarness · Zhu et al. · 2026-10-1513 / 14
省钱、提速和可靠性要分别核查
共享GPU的4B省81.1%却更慢；后来的独占配置才约2.5×。未见房间ALFWorld 88.8→89.6%，非劣效p=.175不足。coding主要路由强/快模型，不是4B独写代码。
Tables1,2,27–30；下降<3点不自动通过非劣效论文 PDF
JevAgentHarness · Zhu et al. · 2026-10-1514 / 14
值得借鉴的是测试路线和失败对照
特定Agent状态上的SFT，能训练出便宜且准确的选项决策模型。先测局部，再测自己的执行，最后测新规则。
OPD在本设置退步、教师软标签未证明必要、高置信度新规则失败：这些比最大降本数更有研究价值。
PDF中的Codex / Claude Code hooks可用，不等于完成效果验证。仓库后来74题代理路由与20题Codex测试要单独读；小样本未证明可靠性。
局限：一次训练、模板客服世界、影子校准、新规则；未验证特权代码蒸馏或完整软件生成能力。
44页全文 + 官方代码 fixed f2932199；详见正文来源清单论文 PDF