资讯🔥8.0
天价内存把大厂逼成垃圾佬!拆退役服务器抠DDR4用
📋总体概括
谷歌供应链高级总监Nikhil Cherian披露,AI行业已从算力受限转向内存受限,高性能内存约占单台AI服务器物料成本的75%。为突破瓶颈,谷歌建立内部回收供应链,专门设计转接器,把退役服务器拆解出的DDR4模组重新用于新一代AI服务器,部分场景被迫从DDR5降级。软件端则通过优化底层函数库、模型架构和KV Cache压缩降低内存消耗,并推出TPU8t与TPU8i两款自研芯片,其中TPU8i配备288GB HBM3e、8.6TB/s带宽及384MB片上SRAM。
⚡关键信息
- ▸谷歌称高性能内存已占AI服务器物料成本约75%,行业瓶颈从算力转向内存
- ▸谷歌建立内部回收链,设计转接器让退役服务器DDR4模组用在新AI服务器上
- ▸部分新服务器被迫从DDR5降级为回收DDR4,反映内存供应极度紧张
- ▸软件层面谷歌通过KV Cache压缩、函数库与架构优化降低单位算力内存消耗
- ▸谷歌今年推出TPU8t与TPU8i,后者配288GB HBM3e、8.6TB/s带宽和384MB SRAM
🔥犀利点评
连谷歌都要拆旧机器抠内存条,这画面比任何DRAM涨价报告都直观——AI军备竞赛的瓶颈已经从GPU硬生生挪到了内存上。三星、SK海力士、美光的HBM产能短期无解,巨头只能自降规格、回收翻新,本质是拿工程上的体面妥协换部署速度。这也解释了谷歌为何死磕自研TPU和KV Cache压缩:谁先绕开内存依赖,谁就先握住成本命脉。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 驱动之家 阅读全文 →