电脑硬件
PrismML 发布 Ternary Bonsai 2 27B:仅 5.9 GB 的 Apache 2.0 模型,保留 Qwen3.8 27B 98.2% 性能
原标题: PrismML Releases Ternary Bonsai 2 27B: A 5.9 GB Apache 2.0 Model Retaining 98.2% of Qwen3.8 27B Performance
📋总体概括
PrismML 发布三值权重开源模型 Ternary Bonsai 2 27B,基于 Qwen3.8 27B 量化而来,体积从 FP16 的 53.80 GB 压缩到 5.93 GB,缩至约九分之一,官方宣称在 20 项基准测试上平均保留原模型 98.2% 的性能。模型采用 Apache 2.0 许可,支持文本与图像输入,具备 262K token 上下文窗口,官方演示其可驱动 Cline 编码助手运行。该发布显示三值量化在 27B 级别大模型上的实用性取得进展。
⚡关键信息
- ▸Ternary Bonsai 2 27B 体积仅 5.93 GB,而 FP16 原模型为 53.80 GB,压缩至约九分之一
- ▸官方称在 20 项基准测试中平均保留原模型 98.2% 的性能
- ▸模型采用 Apache 2.0 开源许可,基于 Qwen3.8 27B 三值化而来
- ▸支持文本与图像多模态输入,上下文窗口达 262K token
- ▸官方演示其可驱动 Cline 编码智能体进行实际编码任务
🔥犀利点评
5.9 GB 跑 27B 模型还保住 98.2% 性能,如果数字属实,三值量化已经从论文玩具走向可部署产品。当然 98.2% 是官方自测的平均值,具体哪些基准拉分、边缘场景表现如何还得看第三方复现。但方向没错:模型能力趋同时,推理成本才是真战场,PrismML 押对了地方。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 marktechpost.com 阅读全文 →