产业观察
Liquid AI 发布 LFM2.5-VL-3B-DSpark:为视觉语言模型引入投机解码,解码速度最高提升3.13倍
原标题: Liquid AI 发布 LFM2.5-VL-3B-DSpark:为视觉语言模型引入投机解码,解码速度最高提升3.13倍
📋总体概括
Liquid AI 发布 LFM2.5-VL-3B-DSpark,一个2.795亿参数的草稿模型,为其 LFM2.5-VL-3B 视觉语言模型引入投机解码。实测在 Apple M5 Max 上解码速度最高提升3.13倍,在 H100 上提升2.66倍,且贪婪解码下输出与原模型完全一致。支持已在 llama.cpp、MLX-VLM 和 SGLang 中上线,覆盖边缘端与云端主流推理框架。此举延续了 Liquid AI 走小模型、高效率推理的路线,把多模态端侧部署的实际可用性再往前推了一步。
⚡关键信息
- ▸Liquid AI 发布2.795亿参数草稿模型 DSpark,为 LFM2.5-VL-3B 带来投机解码能力
- ▸Apple M5 Max 上解码速度最高提升3.13倍,H100 上提升2.66倍
- ▸贪婪解码下输出结果与原模型完全一致,保证精度无损
- ▸支持已落地 llama.cpp、MLX-VLM 和 SGLang 三大推理框架
- ▸3B 级视觉语言模型加速对小模型端侧与云端部署均有实际意义
🔥犀利点评
在大家卷大模型参数的时候,Liquid AI 在给3B小模型装涡轮。3.13倍的解码提升写在 M5 Max 上不是偶然——这就是给苹果芯片用户和端侧部署者的信号。输出完全一致是关键卖点,投机解码最大的心理障碍是精度疑虑,它直接堵死了。下一步该看的是:什么时候给更大的 LFM 上这套草稿模型。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 marktechpost.com 阅读全文 →