资讯
OpenAI 将 Habitat 从 Python 迁移至 Rust:CPU 效率提升 6 倍,服务 10 亿 ChatGPT 用户
📋总体概括
OpenAI 发布技术文章,介绍其在线存储平台 Habitat 的架构演进:该平台从 2024 年的 Python 客户端库起步,底层连接 Azure Cosmos DB,现已发展为独立分布式存储系统,每秒处理超 7000 万次请求,每周服务超 10 亿用户,管理数据超 500PB。为解决共享库需协调数十个服务部署的痛点,OpenAI 将其改造为独立服务以集中管理部署与安全控制;并用 Rust 重写高吞吐服务层,使 CPU 效率提升 6 倍,改善高并发下的尾延迟表现。
⚡关键信息
- ▸Habitat 每秒处理超 7000 万次请求,每周服务超 10 亿用户,管理数据规模超 500PB
- ▸Habitat 从 2024 年连接 Azure Cosmos DB 的 Python 客户端库,演进为分布式独立存储服务
- ▸客户端架构下每次修改共享库需协调数十个服务部署,是推动架构改造的直接原因
- ▸用 Rust 重写后 CPU 效率提升 6 倍,缓解高并发下 CPU、内存开销和网络延迟问题
- ▸独立服务架构让 OpenAI 可集中执行访问控制、审计日志与存储权限管理
🔥犀利点评
这本质上是一个教科书级的架构演进案例:当 Python 客户端库被几十个服务共享时,改一行代码就要全量协调部署,瓶颈早已不是语言性能而是架构形态。OpenAI 先做服务化隔离、再用 Rust 解决热路径性能,顺序很克制——先稳定后优化。但 6 倍 CPU 效率提升背后也说明当初用 Python 扛每秒 7000 万请求的代价有多大,AI 巨头为快速迭代付出的性能债,最后还是得由系统工程师偿还。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 IT之家 阅读全文 →