产业观察
Linkup Research发布SPARSEUP:149M参数的开源稀疏嵌入模型
原标题: Linkup Research Releases SPARSEUP: A 149M-Parameter Open-Source Sparse Embedding Model
📋总体概括
Linkup Research开源发布稀疏嵌入模型SPARSEUP,基于149M参数的ModernBERT骨干网络,在BEIR-13基准上取得56.4 nDCG@10,号称已知150M参数以下公开稀疏编码器中的最佳成绩。该模型通过logit偏移、每token top-12扩展和大小写折叠保持向量稀疏性,配合Seismic索引可实现单查询约380微秒、97%以上召回率,并采用Apache 2.0协议发布。这一成果降低了高质量稀疏检索的部署门槛,对RAG与搜索基础设施建设具有实用价值。
⚡关键信息
- ▸SPARSEUP为开源稀疏嵌入模型,基于149M参数ModernBERT骨干网络构建
- ▸BEIR-13基准得分为56.4 nDCG@10,宣称是150M参数以下公开稀疏编码器的已知最佳成绩
- ▸采用logit偏移、每token top-12扩展和大小写折叠三种技术维持向量稀疏性
- ▸配合Seismic索引实现每查询约380微秒延迟、97%以上召回率
- ▸模型以Apache 2.0开源协议发布,可自由商用
🔥犀利点评
小模型打出大效果,这是稀疏检索路线的又一次正名。380微秒、97%召回的数据意味着SPARSEUP不是实验室玩具,而是能直接塞进生产检索管线的武器。当然56.4 nDCG@10这个『已知最佳』的说法留给社区复现验证,但Apache 2.0加小参数量的组合,已经足够让不少付费embedding API感到压力。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 marktechpost.com 阅读全文 →