资讯
彩云科技:AI团队两次刷新大模型训练速度世界纪录,相关代码已并入官方开源仓库
📋总体概括
彩云科技基础模型算法团队在全球开源AI竞速项目NanoGPT Speedrun中,连续两次刷新大模型训练速度世界纪录,将达标训练时间压缩至1分16秒,相关代码已并入官方开源仓库。支撑纪录的是其两项原创架构创新——DCMHA可动态组合多头注意力和MUDD多路动态稠密连接,分别于2024年、2025年发表于ICML并入选口头报告。这一成绩说明中国AI团队在底层模型架构效率上具备原创输出能力,而非仅做应用层跟随。
⚡关键信息
- ▸彩云科技团队在NanoGPT Speedrun中连续两次刷新大模型训练速度世界纪录
- ▸达标训练时间被压缩至1分16秒,相关代码已并入官方开源仓库
- ▸两项纪录基于DCMHA(动态组合多头注意力)和MUDD(多路动态稠密连接)两项原创架构创新
- ▸DCMHA和MUDD分别于2024年、2025年发表于ICML,且均入选口头报告
🔥犀利点评
训练速度竞速看似游戏,实则是架构创新的试金石——效率纪录背后是真刀真枪的注意力机制改造,比堆参数量刷榜有含金量得多。彩云这家小而美的团队两次把名字写进ICML口头报告并开源验证,证明中国AI不缺底层原创,缺的是愿意赌长线的耐心。不过1分16秒的训练纪录离实际商用大模型还有数量级距离,能否转化为产品竞争力才是真考题。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 36氪快讯 阅读全文 →