电脑硬件
蚂蚁百灵开源 Ling-3.1-flash AI 模型,最高支持 1M 上下文
📋总体概括
蚂蚁百灵宣布开源Ling-3.1-flash大模型,总参数约560B、每Token激活约25B,最高支持1M上下文。在Artificial Analysis公开评测中智能指数为41,输出速度约每秒210 Token。针对本地部署场景,团队对routed experts采用MXFP4量化、dense层保持block-FP8,权重占用从约534GB降至292GB,Hopper GPU测试中服务部署由8卡降至4卡。这是蚂蚁在开源大模型领域的重要动作,主打高性价比推理与超长上下文能力。
⚡关键信息
- ▸Ling-3.1-flash总参数约560B,每Token激活约25B,最高支持1M上下文
- ▸Artificial Analysis评测智能指数41,输出速度约每秒210 Token
- ▸routed experts采用MXFP4量化、dense层保持block-FP8,权重占用从约534GB降至292GB
- ▸Hopper GPU测试配置下,服务部署从8卡降至4卡,本地部署成本大幅降低
- ▸蚂蚁百灵于10月15日宣布开源该模型
🔥犀利点评
开源圈从不缺参数表,缺的是能真正跑得起的模型。560B总参、25B激活,配1M上下文和近乎腰斩的显存占用,蚂蚁这次的算盘很清楚:不打性能天花板,专攻推理成本这个企业落地的真痛点。8卡变4卡这种实打实的部署数据,比跑分榜上的名词更有说服力。不过智能指数41意味着它定位仍是性价比玩家,别吹成通用旗舰。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 IT之家 阅读全文 →