电脑硬件

PrismML 发布 Ternary Bonsai 2 27B:仅 5.9 GB 的 Apache 2.0 模型,保留 Qwen3.8 27B 98.2% 性能

原标题: PrismML Releases Ternary Bonsai 2 27B: A 5.9 GB Apache 2.0 Model Retaining 98.2% of Qwen3.8 27B Performance

marktechpost.com·2026/9/18 18:06:36🔗 原文

📋总体概括

PrismML 发布三值权重开源模型 Ternary Bonsai 2 27B,基于 Qwen3.8 27B 量化而来,体积从 FP16 的 53.80 GB 压缩到 5.93 GB,缩至约九分之一,官方宣称在 20 项基准测试上平均保留原模型 98.2% 的性能。模型采用 Apache 2.0 许可,支持文本与图像输入,具备 262K token 上下文窗口,官方演示其可驱动 Cline 编码助手运行。该发布显示三值量化在 27B 级别大模型上的实用性取得进展。

关键信息

  • Ternary Bonsai 2 27B 体积仅 5.93 GB,而 FP16 原模型为 53.80 GB,压缩至约九分之一
  • 官方称在 20 项基准测试中平均保留原模型 98.2% 的性能
  • 模型采用 Apache 2.0 开源许可,基于 Qwen3.8 27B 三值化而来
  • 支持文本与图像多模态输入,上下文窗口达 262K token
  • 官方演示其可驱动 Cline 编码智能体进行实际编码任务

🔥犀利点评

5.9 GB 跑 27B 模型还保住 98.2% 性能,如果数字属实,三值量化已经从论文玩具走向可部署产品。当然 98.2% 是官方自测的平均值,具体哪些基准拉分、边缘场景表现如何还得看第三方复现。但方向没错:模型能力趋同时,推理成本才是真战场,PrismML 押对了地方。

本文由本站自动聚合,以下为原始来源:前往 marktechpost.com 阅读全文