资讯

英伟达宣布Groq 3 LPX全面投产:Vera Rubin推理效率实现数倍提升

快科技·2026/8/24 23:42:00🔗 原文

📋总体概括

英伟达宣布面向交互式AI推理的Groq 3 LPX处理器全面投产,该芯片是Vera Rubin平台关键组件,专注超低延迟Token生成。基准测试中搭配Gemma 4 31B模型处理10万Token上下文时吞吐量达每秒3400 Token,创纪录;响应速度最高达竞品4倍。Vera Rubin NVL72在智能体负载下每兆瓦吞吐量最高为上代GB300的30倍,每Token成本最高降低35倍。

关键信息

  • Groq 3 LPX正式全面投产,专注超低延迟Token生成,弥补传统GPU在交互式推理场景的不足
  • 基准测试中每秒输出3400 Token创Gemma 4 31B模型纪录,智能体编程等延迟敏感场景响应速度最高达竞品4倍
  • Vera Rubin NVL72在AgentX负载下每兆瓦吞吐量达上代GB300 NVL72的30倍,每Token成本最高降低35倍

🔥犀利点评

推理专用芯片卷起来,智能体时代拼的不再是算力而是每Token成本。

本文由本站自动聚合,以下为原始来源:前往 快科技 阅读全文