资讯
英伟达宣布Groq 3 LPX全面投产:Vera Rubin推理效率实现数倍提升
📋总体概括
英伟达宣布面向交互式AI推理的Groq 3 LPX处理器全面投产,该芯片是Vera Rubin平台关键组件,专注超低延迟Token生成。基准测试中搭配Gemma 4 31B模型处理10万Token上下文时吞吐量达每秒3400 Token,创纪录;响应速度最高达竞品4倍。Vera Rubin NVL72在智能体负载下每兆瓦吞吐量最高为上代GB300的30倍,每Token成本最高降低35倍。
⚡关键信息
- ▸Groq 3 LPX正式全面投产,专注超低延迟Token生成,弥补传统GPU在交互式推理场景的不足
- ▸基准测试中每秒输出3400 Token创Gemma 4 31B模型纪录,智能体编程等延迟敏感场景响应速度最高达竞品4倍
- ▸Vera Rubin NVL72在AgentX负载下每兆瓦吞吐量达上代GB300 NVL72的30倍,每Token成本最高降低35倍
🔥犀利点评
推理专用芯片卷起来,智能体时代拼的不再是算力而是每Token成本。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 快科技 阅读全文 →