清华AI团队开源AKV：基于SGLang的LLM智能体缓存工程服务器

📋总体概括

清华大学研究团队开源了AKV，一个基于SGLang构建的面向LLM智能体的缓存工程服务系统。与主流做法不同，AKV不通过压缩或摘要历史对话来省资源，而是直接对KV缓存进行丢弃与重定位操作，让智能体在多轮任务中只保留必要上下文。在4个智能体基准测试中，AKV将平均推理成本降低27.7%。该工作把「缓存管理」从模型层面的上下文压缩，推进到了推理服务层面的系统工程，为智能体推理降本提供了新路径。