产业观察🔥7.0
Ternary Bonsai 2 系列 AI 模型登场：苹果 iPhone 18 Pro Max 上本地吞吐最高每秒 120 个词元
📋总体概括
AI公司PrismML于10月15日发布Ternary Bonsai 2系列模型，提供2B、4B、9B三种规模，基于阿里Qwen 3.5基座，采用仅-1、0、+1的三元权重编码，存储占用仅约0.43GB至2GB，主打手机、PC和可穿戴设备的本地AI智能体运行。官方称在RTX 4090和M5 Pro上最高实现5倍吞吐和3倍能效；在iPhone 18 Pro Max上，2B模型达每秒120个词元，9B达每秒34个词元，9B模型在指令执行和数学任务上token消耗减少约40%。
⚡关键信息
- ▸Ternary Bonsai 2系列含2B、4B、9B三种规模，基于阿里Qwen 3.5基座构建
- ▸采用三元权重表示法，仅用-1、0、+1编码参数，存储占用分别约0.43GB、0.95GB和2GB
- ▸在RTX 4090和M5 Pro等硬件上相较全精度模型最高实现5倍吞吐量和3倍能效
- ▸iPhone 18 Pro Max上2B模型最高每秒120个词元，9B模型每秒34个词元
- ▸9B模型在标准指令执行和日常数学任务中所需token数量约减少40%
🔥犀利点评
三元权重不是新概念，但PrismML把Qwen 3.5基座压到0.43GB还能跑智能体工具调用，这才是端侧AI真正需要的工程活。不过要泼冷水：iPhone 18 Pro Max的120 tokens/秒是2B小模型的成绩，9B只剩34，说明端侧跑智能体依然要在模型规模和体验之间痛苦取舍。另外官方基准是自测数据，缺乏第三方验证，『减少40% token』这类说法先听一半再说。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 IT之家 阅读全文 →