RTX 4060 跑 35B 模型，每秒 39 Token？伯克利、MIT 联手开源 FreeToken

📋总体概括

伯克利与MIT团队联合开源推理框架FreeToken，宣称可在消费级显卡RTX 4060上以每秒39 Token的速度运行35B参数大模型。该方案通过优化内存与计算调度，让低显存硬件承载远超其容量的模型，降低了本地部署大模型的门槛。若实际表现与宣称相符，将改变大模型推理对高端GPU的依赖格局，对边缘部署和开源社区有实际意义。