每天500万亿Token背后，KV Cache正把存储墙推到台前

📋总体概括

随着大模型推理需求爆发，日均Token消耗已达500万亿量级，KV Cache成为推理系统的关键瓶颈。KV Cache需要长期驻留显存以避免重复计算，但其体积随上下文长度与并发量快速膨胀，导致显存容量与带宽不足，被称为「存储墙」问题。文章指出，单纯依靠存储与计算融合（近存计算）并不足够，理想路径是围绕计算、存储、通信、调度等要素进行系统性协同优化，包括KV Cache分层缓存、稀疏化、量化及分布式调度等手段，从而提升算力基础设施上大模型推理应用的整体性能。