NVIDIA Releases Personal AI Router (PAIR): An Open Source Virtual Inference Router that Distributes Local AI Requests Across RTX, DGX Spark, and Mac Nodes

📋总体概括

NVIDIA开源发布个人AI路由器PAIR，把家庭局域网内已有的设备变成一个虚拟推理集群。PAIR代理现有Ollama和LM Studio端点，agent框架无需改动，其调度器按节点就绪状态、引擎状态、精确模型存在性、任务负载和GPU利用率筛选节点。NVIDIA的五个子代理演示显示：单台RTX Spark笔记本平均18分钟，三设备集群缩短至8分48秒。但PAIR被标注为非官方项目而非基准测试，且存在单一调度策略、不感知VRAM和模型预热状态等局限。这标志着本地推理编排开始从单机走向网络级协同。