Janas：通过从SSD流式加载专家模型，运行超过内存容量的LLM

📋总体概括

开源项目Janas在GitHub发布，宣称能让参数量超过内存容量的LLM运行起来，核心思路是把混合专家模型的专家权重存放在SSD上，推理时按需流式加载，从而突破RAM容量的限制。项目目前还处于早期阶段，在Hacker News上获得11个赞和2条评论，讨论热度不高。这一方案与此前llama.cpp、ktransformers等项目的SSD卸载思路类似，对消费级硬件跑大模型有一定参考价值，但成熟度和性能仍待验证。