电脑硬件🔥7.0
9 年前英伟达 Tesla V100 老将再战：4 GPU 集群 AI 推理跑赢 2 台 DGX Spark
📋总体概括
YouTube 主播 Jun Yamog 将 4 张英伟达 2017 年推出的 Tesla V100 数据中心 GPU 装上 NVLink 载板，组成二手老卡 AI 集群。在 Qwen3.8-Flash-Next 基准测试中，该集群长提示处理速度较苹果 M5 Ultra 快 230%，较 2 台 DGX Spark 快 40%。载板提供 300GB/s 带宽与 6 条 NVLink 2.0 连接，测试者改装 A100 散热器应对每颗 V100 约 300W 功耗，并以 PCIe x8 接口连接，配 4-bit 量化模型运行。老将靠 HBM2 大带宽与 NVLink 互联，在特定推理场景竟击败新
⚡关键信息
- ▸4 张 Tesla V100 组 NVLink 集群，长提示处理速度较 M5 Ultra 快 230%，较 2 台 DGX Spark 快 40%
- ▸Tesla V100 为 2017 年 Volta 架构数据中心 GPU，32GB 版配 HBM2 显存，带宽 900GB/s
- ▸NVLink 载板提供 300GB/s 带宽、6 条 NVLink 2.0 连接，规避 PCIe 互联瓶颈
- ▸测试者改装 A100 散热器，应对每颗 V100 约 300W 功耗，经 PCIe x8 连接载板
- ▸推理采用 4-bit 量化模型，体现显存带宽对大模型推理速度的关键作用
🔥犀利点评
九年前的数据中心卡把两台全新 DGX Spark 按在地上摩擦，说明一件事：AI 推理的瓶颈不在算力峰值，而在显存容量和带宽。V100 靠 HBM2 和 NVLink 吃了老本，而买新一体机的用户付的是体积、静音和质保的钱。但这套 1200W 级的吼叫猛兽只适合车库极客，别拿它当「平替真香」的普适答案。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 IT之家 阅读全文 →