Prime Intellect推出Prime Inference：面向前沿开源模型的Serverless与预留式推理服务

📋总体概括

Prime Intellect推出Prime Inference，一个兼容OpenAI接口的推理服务平台，提供Serverless与预留两种服务模式，用于在NVIDIA Blackwell硬件上部署前沿开源模型。其GLM-5.3部署方案采用Dynamo分布式推理框架、vLLM引擎以及NVFP4 KV缓存压缩技术，实现了每个prefill组66路会话、单用户101 tok/s的生成速度。该平台面向开源大模型推理市场，试图以兼容OpenAI的接口降低开发者迁移成本，同时用软硬件协同优化压低推理成本、提升吞吐。