产业观察

Fastino发布GLiNER2.5-Decide:340M参数、可在CPU上运行的开源权重决策模型

原标题: Fastino发布GLiNER2.5-Decide:340M参数、可在CPU上运行的开源权重决策模型

marktechpost.com·2026/9/25 04:46:38🔗 原文

📋总体概括

Fastino Labs发布了开源权重的小型决策模型GLiNER2.5-Decide,参数量仅340M,可在CPU上运行。该模型接收文本和一组带类型的问题模式,输出结构化答案,每个答案附带概率分布、置信度分数和约束可行性元数据。它瞄准Agent流水线中高频出现的判断类任务,如路由、分诊、工具选择和护栏管控。这一发布顺应了「用小模型替代大模型做结构化判断」的行业趋势,降低了部署门槛与推理成本。

⚡关键信息

  • ▸Fastino Labs发布340M参数的开源权重决策模型GLiNER2.5-Decide,可直接在CPU上运行
  • ▸模型接收文本与带类型的问题模式,返回结构化答案而非纯文本
  • ▸每个答案附带概率分布、置信度分数和约束可行性元数据
  • ▸目标场景是Agent流水线中的路由、分诊、工具选择和护栏判断

🔥犀利点评

别被「340M能跑」的噱头迷了眼——真正的价值在于它把判断类任务从LLM手里剥离出来。Agent链路里80%的调用根本不需要千亿参数的大脑,路由和护栏用小模型足够,成本能降一个量级。开源权重加CPU部署,等于给企业去掉了云依赖的最后借口。问题在于这类小模型的上限终究有限,复杂场景仍要回退大模型,混合架构才是终局。

本文由本站自动聚合,以下为原始来源:前往 marktechpost.com 阅读全文 →