清华AI开源AKV：基于SGLang的LLM Agent缓存工程服务系统

📋总体概括

清华大学研究团队开源了AKV，一个基于SGLang构建、面向LLM Agent的缓存工程服务系统。与主流做法不同，AKV不通过压缩或摘要历史上下文，而是直接对KV缓存进行丢弃与重新定位操作，以此降低Agent多轮推理中的显存与计算开销。在4个Agent基准测试中，AKV平均降低成本27.7%。该工作把「缓存管理」提升为一门显式工程学科，为高成本Agent推理提供了新的降本路径。