资讯
Google Research Releases ToolGrad: Answer-First Framework Hits 99.8% Pass Rate for Tool-Use Data Generation
📋总体概括
Google Research发布ToolGrad框架,入选ACL 2026 Findings。其核心创新是颠覆传统工具调用数据生成流程:先构建经过验证的API调用链,再反向编写匹配的用户查询,通过4模块的提出-执行-选择-更新循环与文本「梯度」引导,在ToolBench上达到99.8%的通过率,远超DFS搜索的63.8%。仅用500条样本微调的Gemma-3-12B在BFCL上取得83.1分,几乎追平Gemini 2.5 Pro的83.2分。代码、数据集与模型均以Apache-2.0协议开源。
⚡关键信息
- ▸ToolGrad入选ACL 2026 Findings,采用「先答案后问题」的逆向方式生成工具调用数据集
- ▸在ToolBench上达到99.8%通过率,相比DFS搜索的63.8%提升36个百分点
- ▸框架采用4模块的提出-执行-选择-更新循环,由文本「梯度」引导优化
- ▸仅500条样本微调的Gemma-3-12B在BFCL得83.1分,逼近Gemini 2.5 Pro的83.2分
- ▸代码、数据集与模型全部以Apache-2.0协议开源
🔥犀利点评
99.8%对63.8%,这不是渐进式优化,是范式碾压——先验证API链再写问题的「答案优先」思路,把合成数据的正确性从「事后过滤」变成「先天保证」,直击合成数据噪声的老毛病。更狠的是500条样本喂出83.1的BFCL成绩,说明数据质量远比数量重要,烧钱的暴力合成路线该慌了。全量开源姿态也够敞亮,就看各家会不会真换轨道。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 marktechpost.com 阅读全文 →