产业观察
Google Cloud发布llm-d 1.0：为TPU与GPU集群带来缓存感知路由
原标题: Google Cloud发布llm-d 1.0：为TPU与GPU集群带来缓存感知路由
📋总体概括
Google、Red Hat与IBM联合发布llm-d 1.0，这是一个开源的Kubernetes原生分布式LLM推理栈。新版本引入多租户流控、零停机升级以及面向vLLM、SGLang、TPU和GPU的智能体感知路由，核心亮点是缓存感知调度，可在异构算力集群中提升KV缓存命中率和整体推理效率，为大规模生产级LLM部署提供统一调度层。
⚡关键信息
- ▸Google、Red Hat与IBM三方联合发布开源项目llm-d 1.0
- ▸llm-d定位为Kubernetes原生的分布式LLM推理栈，面向生产环境
- ▸新版本支持多租户流控与零停机升级，保障在线服务连续性
- ▸智能体感知路由覆盖vLLM、SGLang引擎及TPU、GPU两类硬件
- ▸缓存感知路由可跨异构算力集群优化请求分发与KV缓存利用
🔥犀利点评
推理成本已经压过训练成本成为大模型落地的最大账单，谁掌握调度层谁就掌握生态咽喉。Google拉上Red Hat和IBM把llm-d推到1.0，明显是要在Kubernetes之上再造一个推理调度事实标准，用开源社区的方式对冲vLLM单极化和闭源厂商锁定。缓存感知路由听着不起眼，但KV缓存命中率直接决定GPU账单，这是真刀真枪的成本战场。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 marktechpost.com 阅读全文 →