产业观察🔥7.0
PrismML 再出手:Bonsai 2 27B 以 1/9 内存占用保留 Qwen3.8 27B 98.2% 性能
📋总体概括
PrismML 推出三值量化模型 Bonsai 2 27B,将基座从 Qwen3.6 升级至 Qwen3.8 27B,推理、编程、视觉与长程智能体能力全面提升。该模型每权重有效比特仅 1.76 bit,总大小 5.9GB,以不到基座 1/9 的内存占用在综合基准测试中保留 98.2% 的性能,整体甚至优于上代 Qwen3.6 27B,支持 262K 上下文,在 RTX 5090 上实现 143 TPS 吞吐量,瞄准本地承担编程智能体、文档解析等真实知识工作负载,仅必要时调用云端 API。
⚡关键信息
- ▸Bonsai 2 27B 基座升级至 Qwen3.8 27B,推理、编程、视觉、长程智能体性能全面提升
- ▸三值量化每权重有效比特仅 1.76,模型总大小 5.9GB,内存占用不到基座的 1/9
- ▸综合基准测试保留基座 98.2% 性能,整体表现甚至好于上代 Qwen3.6 27B
- ▸支持 262K 上下文窗口,RTX 5090 上词元吞吐量达 143 TPS
- ▸定位本地编程智能体循环、私有文档解析、多模态调试等工作流,仅在需要时调用云端
🔥犀利点评
1.76 bit 的三值量化还能保住 98.2% 性能,这已经不是压缩技巧,而是在改写本地部署的成本公式。27B 级别模型塞进 6GB 以内,消费级显卡就能跑智能体工作流,「小模型 + 极致量化」正在蚕食云端 API 的地基。真正的问题只剩一个:长程任务中量化损失是否会在链式调用里被放大,这比跑分数字更值得盯。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 IT之家 阅读全文 →