资讯

招商银行统一近万张AI加速卡:利用率从35%提至60%+、每百万Token推理成本降低60%

InfoQ中文·2026/9/9 12:07:58🔗 原文

📋总体概括

招商银行完成对行内近万张AI加速卡的统一资源池化改造,将原本分散在各业务条线的GPU算力集中调度。改造后算力利用率从35%提升至60%以上,每百万Token的推理成本下降60%。这一案例说明,金融机构的AI算力瓶颈往往不在卡的数量而在调度效率,通过统一资源管理和推理优化,银行可以大幅摊薄大模型应用的落地成本,为同业提供了可复用的降本路径。

关键信息

  • 招商银行统一池化了行内近万张AI加速卡,打破各业务条线算力孤岛
  • GPU利用率从35%提升至60%以上,接近翻倍水平
  • 每百万Token推理成本降低60%,直接压降大模型应用成本
  • 该案例验证了金融机构靠算力调度而非单纯堆卡实现降本的可行性

🔥犀利点评

近万张卡的体量放进一家股份制银行,本身就说明金融业买算力毫不手软。但35%的利用率暴露了真问题:钱花了,卡在睡觉。招行这波池化改造的本质不是技术炫技,而是把散落的部门算力利益重新分配——统一调度最难的从来不是技术,是砍掉各条线的算力小金库。60%的利用率在互联网大厂眼里仍不算好看,但对按部就班的银行业已算激进。同业该抄的作业不是数字,是敢于动组织利益的决心。

本文由本站自动聚合,以下为原始来源:前往 InfoQ中文 阅读全文