单个机柜到底能跑多少个 Agent？答案不在 GPU 身上

📋总体概括

InfoQ发文探讨单个机柜能承载多少个AI Agent的问题，核心结论是瓶颈往往不在GPU算力本身。文章指出Agent工作负载由大量高频的小规模推理、工具调用、上下文读写和数据搬运构成，机柜内的网络带宽、内存层次、存储IO与调度软件栈共同决定了实际并发上限。对企业和云厂商而言，规划Agent基础设施时需要以全栈视角评估机柜密度，而非单纯堆砌GPU。