电脑硬件
微控制器如今能跑扩散模型和2.89亿参数LLM
原标题: 微控制器如今能跑扩散模型和2.89亿参数LLM
📋总体概括
开源社区展示了在裸机微控制器上直接运行生成式AI的可能性：一项基于STM32N6570-DK开发板（Cortex-M55+Ethos-U55 NPU）运行轻量扩散模型，另一项则在无Linux、无GPU、无外部加速器的条件下跑通了2.89亿参数的大语言模型。这标志着端侧推理正从「云端+终端」模式下沉到最底层的MCU硬件，靠编译器优化、量化与NPU算力榨取性能，对IoT离线智能、隐私计算和低成本AI硬件有实质意义。
⚡关键信息
- ▸两项目均在裸机MCU上运行生成式AI，无Linux、无GPU、无外部加速器
- ▸STM32N6570-DK搭载Arm Cortex-M55与Ethos-U55神经网络处理单元
- ▸其一在STM32开发板上运行紧凑型扩散模型
- ▸另一项目跑通了2.89亿参数的LLM，刷新MCU推理规模认知
- ▸进展依赖量化压缩与NPU异构算力，降低端侧AI硬件门槛
🔥犀利点评
别急着喊「AI民主化」——289M参数的LLM和真正的云端大模型差着三个数量级，实用性有限。但技术方向是清醒的：与其给每个灯泡塞一颗跑Linux的SoC，不如用NPU+量化的MCU把推理成本压到几美元。ST这颗N6才是重点，Ethos-U55生态若能起来，Edge AI 2.0的故事就从「开发板玩具」变成「出货量生意」了。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 Adafruit 阅读全文 →