01 · 论文概览Beike Language and Intelligence · arXiv:2601.21558v2 · 首次公开 2026-01-29

ASTRA:先生成工具调用示范,再造可执行环境,让模型从自己的任务结果中学习

54,885固定示范对话,用于监督微调
6,596彼此隔离的强化学习环境
+17.2914B 的 ACEBench 总分,基座到最终模型
8.5 / 10仅表示博客作者个人兴趣程度

两条流程分别准备示范和模拟工具,最后接成两阶段训练。要分清:模拟代码能返回预设答案,只说明工具与目标自洽,尚未证明它与真实 API 行为一致。

来源:Abstract、Sections 1-3、Appendix A01 / 18
02 · PART 0先说清楚谁执行、谁评分、训练什么

示范记录、执行环境与训练奖励,是三种不同的东西

MCP server

一组带名称、参数格式(JSON schema)和用途说明的工具。ASTRA 只在同一服务内组织可能连续调用的工具。

Trajectory · 完整记录

用户请求、模型推理、工具调用、工具返回和最终回答。生成这段记录的执行过程叫 rollout。

Environment · 环境

实际执行工具调用的程序。RL 阶段为每条问答生成固定 Python 模拟工具,不连接真实支付或医院系统。

Online RL · 在线训练

当前模型(policy)自己执行任务,按完成程度和调用次数获得奖励,再更新它的参数。工具本身不被训练。

本文的“多轮”主要指模型与工具的往返。训练尚不包含不断变化的用户对话;作者将其列为后续工作。
来源:Sections 1、2.1.4、3.1、6
03 · 研究动机固定示范与当前模型的执行反馈各有作用

只有示范,学不到当前错误;只有奖励,初始模型又可能不会调用工具

训练材料难扩展

人工逐条写任务、工具实现和检查规则,很难覆盖大量领域和长调用链。

临时模拟不够稳定

由 LLM 每次临时编工具返回值,同一动作可能得到不同结果。执行过程与评分都难以固定。

RL 有起步困难

初始模型可能选不对工具、填错参数,很少完成任务。若同题尝试全失败,组内奖励没有好坏区别。

ASTRA 先用固定示范训练,再在每条样本独立的 Python 环境里让模型多轮执行;环境和目标固定,回答由当前模型重新生成。

来源:Introduction、Sections 3.1-3.2
04 · 系统总览工具文档生成示范;多步问答生成环境
ASTRA 固定示范与固定环境分别生成,最终训练同一个工具调用模型
根据 Sections 2-3 与 Figures 2-4 重绘
05 · 生成监督微调示范调用关系图 → 任务 → 多轮执行 → 七项评分
ASTRA 官方监督微调示范生成流程
原图:官方仓库 assets/sft-pipeline.png(Apache-2.0),对应论文 Figure 2
06 · 示范构造1,585 个服务 · 19,036 份工具文档 · 41 个领域

先找可能连续调用的工具,再让模型真正执行任务

1 · 筛工具

服务至少有三个工具;说明足够具体,参数格式能转成 OpenAI 函数调用格式。

2 · 连关系

LLM 先提出任务和调用链;连续调用形成有向边,再沿图随机行走,限制链长。

3 · 验依赖

后续参数必须能从用户请求或前面返回值得到;任务也应与调用链一致。

4 · 造任务

按调用链或只按服务说明生成任务,再改写复杂度、表达方式和用户身份。

5 · 执行

Qwen-Agent 调真实服务或保存状态的模拟器;模拟调用有 20% 概率注入失败。

54,885完整对话样本
580,983消息总数
4.42每条对话平均工具调用次数
来源:Sections 2.1.1-2.1.4、Appendix A.1.1
07 · 示范质量筛选模型评分服务出错,公开代码反而给满分

七项分数取平均;异常与缺失字段默认 1.0

QU

理解最初请求

QP

最初计划可行

TCU

读懂工具返回

TCP

下一步有依据

TCS

工具调用成功

TC

调用必要、不重复

FA

回答忠实于结果

if isinstance(result, Exception):
    scores.append(1.0)
else:
    scores.append(result.get("score", 1.0))
这叫 fail-open:评分失败时仍放行,并给满分。论文没有报告触发比例,不能断言污染规模。

还有一处论文/代码差异:Equation 8 的失败调用为 0,reward.py 却给失败调用 0.5 分;复现必须固定以哪一版为准。

来源:Section 2.1.5、Equation 8;官方 reward.py 与 api_config.py,revision bdf6a46
08 · 生成强化学习环境多步问答拆解 → 可执行 Python 模拟工具
ASTRA 官方从多步问答生成可执行环境的流程
原图:官方仓库 assets/env.png(Apache-2.0),对应论文 Figure 3
09 · 环境构造与准入验证合成代码与指定答案自洽

目标输入能运行,且 stdout 标准输出包含指定答案

拆问答

主问题拆成子问题,记录中间答案之间的依赖。

→
四项检查

LLM 检查依赖、单题是否单一、顺序、完整性。

→
写工具

为需工具的节点生成说明、参数、调用和 Python 实现。

→
运行检查

沙箱执行目标调用;不成功或缺答案则重生成。

→
合并重复功能

扩充一个函数的数据,每次插入后重放该函数已有调用。

call_ans = get_code_sandbox_ans(final_code)
if call_ans["status"] == "Success":
    if q_a_pairs["answer"] in call_ans["run_result"]["stdout"]:
        is_success = True

准入不核对真实数据库或 API。论文已有局部合并重放,但公开最终样本仍有工具重名和目标不一致,下一页给出具体证据。

来源:Sections 2.2.2-2.2.4;官方 step_04_env_synthesis.py:L288-L295
10 · 真实公开样本ASTRA-RL-1k · 第 0 行
行李加购样本的可见工具、隐藏目标,以及支付工具无法稳定复现目标的证据
根据 ASTRA-RL-1k row 0 重绘(dbc70e26);本地核对按代码补了 2024 年,非官方 RL 评分
11 · 完整执行记录的奖励完成目标数与工具调用次数共同决定

解决更多子目标、少做冗余调用,奖励才高

n 是所需目标数,n̂ 是命中目标数,c 是工具调用次数。调用次数与对话轮数不要混用。

完成比例 r = n̂ / n  调用效率 p = n̂ / (c + ε)  F1 reward = 2pr / (p + r)

4 项全做对,调用 4 次

r = 1,p ≈ 1,F1 ≈ 1。每次调用都解决一个需要的目标。

4 项全做对,调用 6 次

r = 1,p ≈ 0.67,F1 ≈ 0.80。两次额外调用没有增加已解目标。

做对 3 项,调用 4 次

r = 0.75,p ≈ 0.75,F1 ≈ 0.75。只是公式示例,不是上一页样本的实测奖励。

忽略 ε 的极小修正。公开代码未包含完整 RL 训练/奖励实现;不能把公式代入当作真实模型日志或官方评分复现。

来源:Section 3.2.2、Equations 29-31;数值为条件代入
12 · 工具选择训练相似度分档提供不同难度的干扰项

工具列表加入无关选项,模型还要判断何时不该调用

作者用工具文档的向量相似度,再按每个目标工具的最小/最大值归一化;排除同领域候选后,按三档抽样。

高相似度 > 0.85

说明看起来很接近,容易混淆;作为较难的无关选项。

中相似度 0.4-0.85

有部分语义重叠,但不属于该任务所需的工具。

低相似度 < 0.4

明显不同,提供较容易排除的选项。

Figure 6:不加无关工具最差;随机加入 5-9 个较好;分档方案最好。论文未列精确终点值,也没报告每档 K 的具体设置,不从图上估数。
来源:Section 3.2.2、Equations 24-28、Section 4.1、Figure 6
13 · 训练组怎样凑足奖励全相同的组没有相对好坏信号

只收集有组内奖励差异的记录,凑足训练 batch 再更新

同题多次尝试

当前模型为同一道题采样 G 条完整记录。

→
检查组内差异

Std(R) > δ 才有效。全同分时,GRPO 相对训练权重为零。

→
保留多余记录

缓冲区存未用的有效记录;不足目标数量就继续采样。

→
只更新 policy

每步凑足有效记录,训练调用工具的模型,不改工具和目标。

论文参数

batch 和 mini-batch 均为 256,学习率 2e-6;输入上限 25,600 tokens,回答上限 49,152 tokens,最多 32 轮。

目标函数

基于 GRPO;省去限制分布偏移的 KL 项与鼓励多样性的熵奖励。损失在整个 batch 的 token 上平均。

来源:Sections 3.1-3.2.2、Figures 4-5、Equation 32
14 · 外部评测合成环境奖励不等于外部能力分数

三个工具使用评测的用户模拟器与重复次数不同

Benchmark测什么设置与重复次数汇总
BFCL-v3 MT多轮函数调用;包括工具缺失、参数缺失、长上下文vLLM,temperature 0.6四个子项平均为总分
τ²-Bench模型与模拟用户共同操作环境排除 airline;GPT-5.1 模拟用户;temperature 0;4 次试验pass^1,单次尝试的成功概率估计
ACEBench多轮与多步工具使用Agent 分组 50 题;GPT-4.1 模拟用户;temperature 0.6;重复 4 次平均准确率
AIME 2024/2025无工具数学推理是否保留temperature 0.6,top-p 0.95;top-k=20 与 -1 各生成 32 次两个生成设置的通过率再平均

temperature、top-p、top-k 控制回答采样;-1 表示不限制 top-k。BFCL 未报告重复评测;ACEBench 的 50 个不同任务重复四次,仍不是 200 个独立任务。

来源:Sections 3.3.1-3.3.2;主要结果未提供置信区间
15 · 固定基座,分阶段比较基座 → 监督微调 → 强化学习
Qwen3 14B 与 32B 在三项工具使用评测中的基座、监督微调与强化学习成绩
根据论文 Table 2 重绘;总提升不等于单独 RL 阶段的提升
16 · 怎样解释增益先区分总增益,再看反例和消融

最终模型三榜都提升,但“RL 增量普遍最大”不够准确

基座到最终 RL

14B:BFCL 44.50→58.13,τ² 44.55→57.70,ACE 51.67→68.96。32B:47.88→64.25,49.70→63.70,59.79→71.88。

ACE 的 SFT 增量更大

14B ACE:SFT +16.04,随后 RL 仅 +1.25。RL 的大增量主要见于 BFCL 和 τ²,不能把 +17.29 全归 RL。

AIME 基本保留

14B 两种设置的平均近乎不变;32B 一种 -0.05,另一种 +1.00。只说明这两项数学评测未系统性退化。

SFT 也有退化项

BFCL Missing Function:14B 39.50→25.50,32B 52.50→40.00。最终 RL 恢复到 56.00 / 65.50;它检验缺少正确工具时能否拒绝调用。

奖励消融的具体证据

只奖完成比例,交互轮数激增后崩溃;只奖调用效率,模型过早停止、后期崩溃。F1 更稳定,但组件贡献没有完整组合控制。

来源:Tables 2-4、Figures 6-8、Section 4
17 · 相邻工作输入、产物与训练用途决定边界

最接近的路线,是生成工具调用轨迹与可执行训练环境

路线代表工作主要输入与产物ASTRA 的区别
工具调用示范ToolLLM、ToolACE、ToucanAPI / MCP 工具清单 → 调用数据还组织同一服务内的调用关系,生成完整多轮记录,后接在线 RL。
多轮轨迹生成MAGNET、ToolACE-MT、APIGen-MT图、任务蓝图或模拟对话 → 连续调用记录SFT 分支接近这一类;RL 不要求模型模仿固定标准调用序列。
按模型弱点更新数据LoopTool、GEM模型错误或文本中的流程 → 新训练轨迹把多步问答依赖进一步写成 Python 环境,供模型重新执行。
自动扩展环境EnvScaler、AutoForge、AgentScaler、CuES、GenEnv自动生成环境、任务、检查器或训练课程组合固定示范、独立问答环境、F1 奖励和多轮 GRPO;不是首次生成环境。
来源:Related Work、Sections 5.1-5.2
18 · 保留什么,重新验证什么四层检查分别解释,不互相替代

训练分层值得借鉴,最终环境一致性仍需核查

论文已经给出

  • 从工具文档生成固定示范,从多步问答生成可执行环境。
  • F1 奖励兼顾完成目标与减少冗余调用。
  • 14B / 32B 的最终模型在三项工具使用评测均提升。
  • 公开数据生成代码、两个 1k 子集和模型。

证据尚有边界

  • 目标出现在输出中,只验证合成工具与答案自洽。
  • SFT 评分异常默认满分;污染规模没有统计。
  • 公开第 0 行支付工具重名、目标不匹配;请求无年份,预订实现却限定 2024 年。
  • 没有完整 RL 训练脚本、内部训练数据或多训练随机种子对照。
后续先在最终环境重放完整目标调用并检查工具名唯一;评分失败则重试或隔离。再用真实 API 或独立模拟器测试未见任务迁移。
来源:论文全文、官方仓库 bdf6a46、ASTRA-RL-1k dbc70e26