电脑硬件🔥7.0
12 张二手英伟达 V100:律师自建 AI 集群跑 DeepSeek,最高每秒 184 个词元
📋总体概括
一名律师在Reddit晒出自建AI集群:花费约9,450美元(约合6.3万元人民币)购入12张二手英伟达Tesla V100 SXM2 32GB显卡,通过NVLink与PCIe组成3个流水线阶段×每阶段4卡张量并行的推理集群,本地运行DeepSeek-V4.1-Flash,采用4-bit NVFP4量化,最高吞吐量达每秒184个词元。案例显示老一代数据中心显卡在二手市场低价流通后,仍能支撑个人本地部署大模型的实用需求。
⚡关键信息
- ▸律师斥资9,450美元(约合63,239元人民币)购买12张二手V100显卡自建私人AI服务器
- ▸显卡为Tesla V100 SXM2 32GB,通过NVLink与PCIe组成本地推理集群
- ▸架构采用PP3×TP4流水线与张量并行,运行DeepSeek-V4.1-Flash并做4-bit NVFP4量化
- ▸每个专家压缩至约15,360个参数,使12张V100分别承载专家分片
- ▸集群最高吞吐量达到每秒184个词元,可满足本地推理使用
🔥犀利点评
这是一次教科书级的「穷人有穷人的玩法」:不追H100,用白菜价的二手V100拼出能跑DeepSeek的集群,性价比思路比堆新卡聪明得多。但别急着神化——V100架构老旧、功耗不低,每秒184词元的吞吐也只是能用级别,且NVFP4量化对精度的损耗被轻描淡写。它证明的是硬件长尾价值和个人本地部署的可行性,而不是二手卡能替代现代推理设备。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 IT之家 阅读全文 →