ASTRA:先生成工具调用示范,再造可执行环境,让模型从自己的任务结果中学习
两条流程分别准备示范和模拟工具,最后接成两阶段训练。要分清:模拟代码能返回预设答案,只说明工具与目标自洽,尚未证明它与真实 API 行为一致。
示范记录、执行环境与训练奖励,是三种不同的东西
MCP server
一组带名称、参数格式(JSON schema)和用途说明的工具。ASTRA 只在同一服务内组织可能连续调用的工具。
Trajectory · 完整记录
用户请求、模型推理、工具调用、工具返回和最终回答。生成这段记录的执行过程叫 rollout。
Environment · 环境
实际执行工具调用的程序。RL 阶段为每条问答生成固定 Python 模拟工具,不连接真实支付或医院系统。
Online RL · 在线训练
当前模型(policy)自己执行任务,按完成程度和调用次数获得奖励,再更新它的参数。工具本身不被训练。
只有示范,学不到当前错误;只有奖励,初始模型又可能不会调用工具
训练材料难扩展
人工逐条写任务、工具实现和检查规则,很难覆盖大量领域和长调用链。
临时模拟不够稳定
由 LLM 每次临时编工具返回值,同一动作可能得到不同结果。执行过程与评分都难以固定。
RL 有起步困难
初始模型可能选不对工具、填错参数,很少完成任务。若同题尝试全失败,组内奖励没有好坏区别。
ASTRA 先用固定示范训练,再在每条样本独立的 Python 环境里让模型多轮执行;环境和目标固定,回答由当前模型重新生成。

先找可能连续调用的工具,再让模型真正执行任务
服务至少有三个工具;说明足够具体,参数格式能转成 OpenAI 函数调用格式。
LLM 先提出任务和调用链;连续调用形成有向边,再沿图随机行走,限制链长。
后续参数必须能从用户请求或前面返回值得到;任务也应与调用链一致。
按调用链或只按服务说明生成任务,再改写复杂度、表达方式和用户身份。
Qwen-Agent 调真实服务或保存状态的模拟器;模拟调用有 20% 概率注入失败。
七项分数取平均;异常与缺失字段默认 1.0
QU
理解最初请求
QP
最初计划可行
TCU
读懂工具返回
TCP
下一步有依据
TCS
工具调用成功
TC
调用必要、不重复
FA
回答忠实于结果
if isinstance(result, Exception):
scores.append(1.0)
else:
scores.append(result.get("score", 1.0))还有一处论文/代码差异:Equation 8 的失败调用为 0,reward.py 却给失败调用 0.5 分;复现必须固定以哪一版为准。

目标输入能运行,且 stdout 标准输出包含指定答案
主问题拆成子问题,记录中间答案之间的依赖。
LLM 检查依赖、单题是否单一、顺序、完整性。
为需工具的节点生成说明、参数、调用和 Python 实现。
沙箱执行目标调用;不成功或缺答案则重生成。
扩充一个函数的数据,每次插入后重放该函数已有调用。
call_ans = get_code_sandbox_ans(final_code)
if call_ans["status"] == "Success":
if q_a_pairs["answer"] in call_ans["run_result"]["stdout"]:
is_success = True准入不核对真实数据库或 API。论文已有局部合并重放,但公开最终样本仍有工具重名和目标不一致,下一页给出具体证据。
解决更多子目标、少做冗余调用,奖励才高
n 是所需目标数,n̂ 是命中目标数,c 是工具调用次数。调用次数与对话轮数不要混用。
4 项全做对,调用 4 次
r = 1,p ≈ 1,F1 ≈ 1。每次调用都解决一个需要的目标。
4 项全做对,调用 6 次
r = 1,p ≈ 0.67,F1 ≈ 0.80。两次额外调用没有增加已解目标。
做对 3 项,调用 4 次
r = 0.75,p ≈ 0.75,F1 ≈ 0.75。只是公式示例,不是上一页样本的实测奖励。
忽略 ε 的极小修正。公开代码未包含完整 RL 训练/奖励实现;不能把公式代入当作真实模型日志或官方评分复现。
工具列表加入无关选项,模型还要判断何时不该调用
作者用工具文档的向量相似度,再按每个目标工具的最小/最大值归一化;排除同领域候选后,按三档抽样。
高相似度 > 0.85
说明看起来很接近,容易混淆;作为较难的无关选项。
中相似度 0.4-0.85
有部分语义重叠,但不属于该任务所需的工具。
低相似度 < 0.4
明显不同,提供较容易排除的选项。
只收集有组内奖励差异的记录,凑足训练 batch 再更新
当前模型为同一道题采样 G 条完整记录。
Std(R) > δ 才有效。全同分时,GRPO 相对训练权重为零。
缓冲区存未用的有效记录;不足目标数量就继续采样。
每步凑足有效记录,训练调用工具的模型,不改工具和目标。
论文参数
batch 和 mini-batch 均为 256,学习率 2e-6;输入上限 25,600 tokens,回答上限 49,152 tokens,最多 32 轮。
目标函数
基于 GRPO;省去限制分布偏移的 KL 项与鼓励多样性的熵奖励。损失在整个 batch 的 token 上平均。
三个工具使用评测的用户模拟器与重复次数不同
| Benchmark | 测什么 | 设置与重复次数 | 汇总 |
|---|---|---|---|
| BFCL-v3 MT | 多轮函数调用;包括工具缺失、参数缺失、长上下文 | vLLM,temperature 0.6 | 四个子项平均为总分 |
| τ²-Bench | 模型与模拟用户共同操作环境 | 排除 airline;GPT-5.1 模拟用户;temperature 0;4 次试验 | pass^1,单次尝试的成功概率估计 |
| ACEBench | 多轮与多步工具使用 | Agent 分组 50 题;GPT-4.1 模拟用户;temperature 0.6;重复 4 次 | 平均准确率 |
| AIME 2024/2025 | 无工具数学推理是否保留 | temperature 0.6,top-p 0.95;top-k=20 与 -1 各生成 32 次 | 两个生成设置的通过率再平均 |
temperature、top-p、top-k 控制回答采样;-1 表示不限制 top-k。BFCL 未报告重复评测;ACEBench 的 50 个不同任务重复四次,仍不是 200 个独立任务。
最终模型三榜都提升,但“RL 增量普遍最大”不够准确
基座到最终 RL
14B:BFCL 44.50→58.13,τ² 44.55→57.70,ACE 51.67→68.96。32B:47.88→64.25,49.70→63.70,59.79→71.88。
ACE 的 SFT 增量更大
14B ACE:SFT +16.04,随后 RL 仅 +1.25。RL 的大增量主要见于 BFCL 和 τ²,不能把 +17.29 全归 RL。
AIME 基本保留
14B 两种设置的平均近乎不变;32B 一种 -0.05,另一种 +1.00。只说明这两项数学评测未系统性退化。
SFT 也有退化项
BFCL Missing Function:14B 39.50→25.50,32B 52.50→40.00。最终 RL 恢复到 56.00 / 65.50;它检验缺少正确工具时能否拒绝调用。
奖励消融的具体证据
只奖完成比例,交互轮数激增后崩溃;只奖调用效率,模型过早停止、后期崩溃。F1 更稳定,但组件贡献没有完整组合控制。
最接近的路线,是生成工具调用轨迹与可执行训练环境
| 路线 | 代表工作 | 主要输入与产物 | ASTRA 的区别 |
|---|---|---|---|
| 工具调用示范 | ToolLLM、ToolACE、Toucan | API / MCP 工具清单 → 调用数据 | 还组织同一服务内的调用关系,生成完整多轮记录,后接在线 RL。 |
| 多轮轨迹生成 | MAGNET、ToolACE-MT、APIGen-MT | 图、任务蓝图或模拟对话 → 连续调用记录 | SFT 分支接近这一类;RL 不要求模型模仿固定标准调用序列。 |
| 按模型弱点更新数据 | LoopTool、GEM | 模型错误或文本中的流程 → 新训练轨迹 | 把多步问答依赖进一步写成 Python 环境,供模型重新执行。 |
| 自动扩展环境 | EnvScaler、AutoForge、AgentScaler、CuES、GenEnv | 自动生成环境、任务、检查器或训练课程 | 组合固定示范、独立问答环境、F1 奖励和多轮 GRPO;不是首次生成环境。 |
训练分层值得借鉴,最终环境一致性仍需核查
论文已经给出
- 从工具文档生成固定示范,从多步问答生成可执行环境。
- F1 奖励兼顾完成目标与减少冗余调用。
- 14B / 32B 的最终模型在三项工具使用评测均提升。
- 公开数据生成代码、两个 1k 子集和模型。
证据尚有边界
- 目标出现在输出中,只验证合成工具与答案自洽。
- SFT 评分异常默认满分;污染规模没有统计。
- 公开第 0 行支付工具重名、目标不匹配;请求无年份,预订实现却限定 2024 年。
- 没有完整 RL 训练脚本、内部训练数据或多训练随机种子对照。