产业观察
Underdog AI 发布 Saluki 27B 模型:2-bit 量化 Qwen3.8-27B,7.89GB 大小
📋总体概括
人工智能实验室 Underdog AI 于10月发布 Saluki 27B 模型,这是 Qwen3.8-27B 的 2-bit 量化调优版本,仅保留文字输入输出能力,文件体积压缩至 7.89GB。该模型面向智能体应用设计,擅长日常推理与工具调用,工具选择和多工具并行调用表现据称优于全尺寸 Qwen3.8-27B,但数学能力相对较弱。模型采用标准 llama.cpp 格式,可在 llama.cpp 及其衍生应用中直接加载,无需自定义编译,降低了本地部署门槛。
⚡关键信息
- ▸Underdog AI 发布 Saluki 27B,为 Qwen3.8-27B 的 2-bit 量化调优版本,文件仅 7.89GB
- ▸模型仅保留文字 I/O 能力,针对智能体场景设计,擅长日常推理与工具使用
- ▸工具选择和多工具并行调用表现据称优于全尺寸 Qwen3.8-27B,数学能力相对逊色
- ▸采用标准 llama.cpp 格式,无需自定义编译即可在相关应用中加载,便于本地部署
🔥犀利点评
7.89GB 跑 27B 模型,这是把大模型塞进消费级显卡甚至笔记本的实用路线。但激进量化必然有代价——数学能力掉队就是明证。聪明的取舍在于押注智能体场景:工具调用恰恰不吃精度红利。问题在于「优于全尺寸原版」的说法需要第三方基准验证,量化版反超原版这种叙事,听一半就好。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 IT之家 阅读全文 →