Perplexity Open Sources Lily: A Rust + Metal Inference Engine for Qwen3.6-35B-A3B on Apple Silicon

📋总体概括

Perplexity开源了Lily，这是其Perplexity Computer中Hybrid Compute功能背后的本地推理引擎。Lily用Rust编写，针对单一模型Qwen3.6-35B-A3B和Apple Silicon单一芯片家族定制Metal内核，在40核心、128 GB的M5 Max上实测平均达到MLX-LM预填充吞吐的1.23倍、解码吞吐的1.35倍。这一动作表明Perplexity正把端侧AI算力优化作为产品竞争力，并通过开源向开发者生态展示其底层工程能力。