8GB显存就够，Strata 让普通电脑也能运行千亿参数大模型

📋总体概括

开源项目Strata让仅8GB显存的消费级显卡也能运行千亿参数大模型，实测覆盖RTX 3060、RTX 4060 Ti、RX 7800 XT乃至多年前的TITAN RTX和Quadro RTX 4000等常见显卡。该方案通过特定技术手段压缩模型显存需求，大幅降低本地部署大模型的硬件门槛，使普通玩家的旧显卡获得新生，对推动大模型本地化、普惠化有实际意义，青小蛙已实测验证可行。