产业观察🔥7.0
显存不够傲腾凑!纯CPU跑2.8万亿参数Kimi K3:差点把主板烧了
📋总体概括
Reddit网友用纯CPU方案成功跑通月之暗面2.8万亿参数大模型Kimi K3,核心硬件是被英特尔放弃的第二代傲腾持久内存(Optane PMem 200)搭配40核第三代至强处理器。量化后模型仍需至少610GB内存,用二手傲腾成本仅为普通内存几分之一。玩家在App Direct模式下将傲腾映射为独立持久内存区域以精准控制张量存放,但傲腾满载功耗与发热极高,网友提醒差点烧毁主板。
⚡关键信息
- ▸Reddit网友纯CPU跑通月之暗面2.8万亿参数模型Kimi K3,未使用任何显卡
- ▸核心硬件为英特尔第二代傲腾持久内存PMem 200,该产品2020年随第三代至强发布,单条128GB至512GB
- ▸量化后的Kimi K3仍需至少610GB内存,用二手傲腾成本仅为同容量普通内存几分之一
- ▸部署采用40核心第三代至强处理器,傲腾以App Direct模式映射为独立持久化内存区域
- ▸傲腾满载功耗发热极高,玩家提醒差点烧毁主板
🔥犀利点评
这波操作最讽刺的地方在于:英特尔亲手砍掉的傲腾,居然成了跑万亿参数大模型的性价比之王。显卡价格飞天的今天,二手傲腾几分之一的价格撬动610GB内存需求,说明大模型推理的瓶颈本质是容量而非带宽,野生玩家已经用脚投票给出答案。但差点烧主板也提醒:捡垃圾有代价,这不是普通人能复制的玩法。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 驱动之家 阅读全文 →