电脑硬件🔥8.0
苹果 MacBook Pro 外接 iPhone 17 Pro Max 运行 AI 模型，预填充性能最高提升 44%
📋总体概括
一名Reddit用户通过USB-C将iPhone 17 Pro Max外接至搭载M4 Pro芯片、仅有24GB统一内存的MacBook Pro，借助自制软件把Qwen3.8-27B大模型的推理任务在两台设备间分层拆分：Mac处理每批256个token的第1至40层，iPhone的A19 Pro GPU运行第41至64层，并通过神经网络引擎压缩旧上下文，最终使预填充性能最高提升44%，手机端GPU运算相比不用GPU快约2.4倍，140K上下文下单token写入耗时从279毫秒降至176毫秒。
⚡关键信息
- ▸Reddit用户用USB-C把iPhone 17 Pro Max外接M4 Pro版MacBook Pro，让Qwen3.8-27B模型预填充性能最高提升44%
- ▸任务分层拆分：Mac处理每批256个token的第1至40层，iPhone用A19 Pro的GPU运行第41至64层
- ▸iPhone端GPU运算相比不使用GPU快约2.4倍
- ▸每16K旧上下文编译为神经网络引擎模型，140K上下文下单token写入耗时从279毫秒缩短至176毫秒
- ▸Mac仅24GB统一内存是瓶颈，此方案用于突破内存上限跑更大的AI模型
🔥犀利点评
这是极客炫技，也是行业讽刺：一台几万块的Mac跑不动27B模型，靠一根线外接手机补内存才勉强能跑。流水线拆层+ANE压缩上下文的思路确实漂亮，但44%的提升救不了24GB的硬伤。真正该反思的是苹果的内存定价策略——统一内存卖成奢侈品，逼得用户把iPhone当外置显存用。这套方案观赏价值大于实用价值。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 IT之家 阅读全文 →