资讯🔥9.0
没有GPU照样跑大模型!阿里5nm RISC-V芯片完成历史首秀:30 token/s
📋总体概括
阿里达摩院RISC-V旗舰CPU玄铁C950成功原生运行通义千问3.8-27B大模型,成为RISC-V芯片首次无需GPU和模拟层直接运行270亿参数级AI模型。该芯片采用台积电5nm工艺,64核设计,主频3.2GHz,内置矩阵与向量加速引擎,解码速度达30 token/s,首Token延迟1.9秒内,刷新RISC-V性能纪录。
⚡关键信息
- ▸玄铁C950是RISC-V架构芯片首次无GPU、无模拟层直接运行270亿参数大模型
- ▸台积电5nm工艺,64核服务器级CPU,单核SPECint2006突破70分创RISC-V纪录
- ▸运行通义千问3.8-27B解码速度30 token/s,首Token延迟1.9秒内,无需独立显卡
- ▸阿里实现从芯片架构、模型到云的全链条自主可控,无RISC-V授权费负担
🔥犀利点评
CPU跑大模型确实惊艳,但30 token/s离实用还有距离,先别急着给GPU判死刑。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 快科技 阅读全文 →