产业观察

Underdog AI 发布 Saluki 27B 模型:2-bit 量化 Qwen3.8-27B,7.89GB 大小

IT之家·2026/10/10 02:25:32🔗 原文

📋总体概括

人工智能实验室 Underdog AI 于10月发布 Saluki 27B 模型,这是 Qwen3.8-27B 的 2-bit 量化调优版本,仅保留文字输入输出能力,文件体积压缩至 7.89GB。该模型面向智能体应用设计,擅长日常推理与工具调用,工具选择和多工具并行调用表现据称优于全尺寸 Qwen3.8-27B,但数学能力相对较弱。模型采用标准 llama.cpp 格式,可在 llama.cpp 及其衍生应用中直接加载,无需自定义编译,降低了本地部署门槛。

⚡关键信息

  • ▸Underdog AI 发布 Saluki 27B,为 Qwen3.8-27B 的 2-bit 量化调优版本,文件仅 7.89GB
  • ▸模型仅保留文字 I/O 能力,针对智能体场景设计,擅长日常推理与工具使用
  • ▸工具选择和多工具并行调用表现据称优于全尺寸 Qwen3.8-27B,数学能力相对逊色
  • ▸采用标准 llama.cpp 格式,无需自定义编译即可在相关应用中加载,便于本地部署

🔥犀利点评

7.89GB 跑 27B 模型,这是把大模型塞进消费级显卡甚至笔记本的实用路线。但激进量化必然有代价——数学能力掉队就是明证。聪明的取舍在于押注智能体场景:工具调用恰恰不吃精度红利。问题在于「优于全尺寸原版」的说法需要第三方基准验证,量化版反超原版这种叙事,听一半就好。

本文由本站自动聚合,以下为原始来源:前往 IT之家 阅读全文 →