资讯

Google Research Releases ToolGrad: Answer-First Framework Hits 99.8% Pass Rate for Tool-Use Data Generation

marktechpost.com·2026/9/11 06:01:25🔗 原文

📋总体概括

Google Research发布ToolGrad框架,入选ACL 2026 Findings。其核心创新是颠覆传统工具调用数据生成流程:先构建经过验证的API调用链,再反向编写匹配的用户查询,通过4模块的提出-执行-选择-更新循环与文本「梯度」引导,在ToolBench上达到99.8%的通过率,远超DFS搜索的63.8%。仅用500条样本微调的Gemma-3-12B在BFCL上取得83.1分,几乎追平Gemini 2.5 Pro的83.2分。代码、数据集与模型均以Apache-2.0协议开源。

关键信息

  • ToolGrad入选ACL 2026 Findings,采用「先答案后问题」的逆向方式生成工具调用数据集
  • 在ToolBench上达到99.8%通过率,相比DFS搜索的63.8%提升36个百分点
  • 框架采用4模块的提出-执行-选择-更新循环,由文本「梯度」引导优化
  • 仅500条样本微调的Gemma-3-12B在BFCL得83.1分,逼近Gemini 2.5 Pro的83.2分
  • 代码、数据集与模型全部以Apache-2.0协议开源

🔥犀利点评

99.8%对63.8%,这不是渐进式优化,是范式碾压——先验证API链再写问题的「答案优先」思路,把合成数据的正确性从「事后过滤」变成「先天保证」,直击合成数据噪声的老毛病。更狠的是500条样本喂出83.1的BFCL成绩,说明数据质量远比数量重要,烧钱的暴力合成路线该慌了。全量开源姿态也够敞亮,就看各家会不会真换轨道。

本文由本站自动聚合,以下为原始来源:前往 marktechpost.com 阅读全文