产业观察
Google Cloud 发布 llm-d 1.0：为 TPU 与 GPU 集群带来缓存感知路由
原标题: Google Cloud 发布 llm-d 1.0：为 TPU 与 GPU 集群带来缓存感知路由
📋总体概括
Google、Red Hat 与 IBM 联合发布 llm-d 1.0，一个开源的 Kubernetes 原生分布式 LLM 推理栈。该版本引入多租户流控、零停机升级，以及面向 vLLM、SGLang、TPU 和 GPU 集群的缓存感知路由与 Agent 感知调度能力。它试图把大模型推理从单机部署推进到可运维、可混部的集群化阶段，让企业能在统一控制面下调度异构算力，是推理基础设施标准化的重要一步。
⚡关键信息
- ▸Google、Red Hat、IBM 三家联合发布开源项目 llm-d 1.0，定位为 Kubernetes 原生的分布式 LLM 推理栈。
- ▸新版本支持多租户流控与零停机升级，解决推理服务在生产环境中的隔离与连续性问题。
- ▸缓存感知路由与 Agent 感知调度覆盖 vLLM、SGLang 两种主流推理引擎，并可调度 TPU 与 GPU 异构算力。
- ▸项目将大模型推理从单实例推向集群化、可运维的云原生阶段，降低企业自建推理平台的门槛。
🔥犀利点评
推理侧的竞争已经从拼引擎转向拼调度。llm-d 把 KV 缓存感知路由和 Agent 感知调度塞进 K8s 生态，本质是想成为 LLM 推理界的 Istio——控制面卡位比引擎本身更值钱。Google 拉上 Red Hat 和 IBM 背书，明显是要对冲 vLLM 生态被英伟达和云厂商各自私有化的趋势。但开源推理栈的胜负从来不由架构优雅决定，而是看谁的默认部署路径最省事，llm-d 还得证明它比各家云厂商的托管方案更省心。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 marktechpost.com 阅读全文 →