产业观察🔥7.0
小米公开 MiMo-V3 核心架构 HySparse2：面向长程多轮 Agent 优化推理效率
📋总体概括
小米MiMo团队于9月24日公开MiMo-V3核心架构HySparse2，面向长程多轮Agent任务，在HySparse基础上升级KV共享与稀疏选择机制，目标是更少的Prefill计算、更小的KV Cache和更精准的长上下文检索。此前MiMo-V2系列已采用Full Attention与滑动窗口注意力结合的Hybrid SWA架构，而近半年强化学习探索的成果也应用在MiMo-V2.6上。这次提前公开V3架构细节，显示小米在大模型推理效率与Agent场景上的持续技术押注。
⚡关键信息
- ▸小米9月24日公开MiMo-V3核心架构HySparse2，主打长程多轮Agent场景的推理效率优化
- ▸HySparse2在HySparse基础上升级KV共享与稀疏选择机制，目标是更少Prefill计算、更小KV Cache、更精准检索
- ▸MiMo-V2系列采用Hybrid SWA混合注意力，将全注意力与滑动窗口注意力结合以提升训练和推理效率
- ▸过去半年的强化学习探索已应用于MiMo-V2.6系列，带来模型能力提升
- ▸Agent任务中每次工具调用返回网页、文件、日志都会增加上下文，架构需高效处理不断增长的历史
🔥犀利点评
小米这次是抢跑式放架构——模型还没发，先公开设计思路，摆明了要争夺Agent基础设施的话语权。逻辑很清晰：Agent多轮调用才是推理成本黑洞，谁把长上下文Prefill和KV Cache的账打下来，谁就掌握下一代入口。但公开架构和效果验证是两回事，HySparse2真实的检索精度与成本数据还得等V3落地见真章。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 IT之家 阅读全文 →