用14MB的函数调用语言模型Needle将文本输入转化为操作动作

📋总体概括

Cactus Compute推出Needle 2模型，一款仅14MB的函数调用型小型语言模型，可在树莓派5的CPU上完全离线运行，将文本输入直接转化为具体操作指令。该模型主打端侧部署，不依赖云端算力，适合嵌入式与低功耗场景。树莓派官方博客进行了报道，说明这种超小型LLM在IoT、智能家居等离线自动化场景具有实用价值，也代表了端侧AI向极小参数量方向演进的路线。