RecodeX 重构消息,OpenAI在23日公开的技术文档中披露,其内部在线存储平台Habitat的全球读取请求p50延迟已从约120毫秒降至约10毫秒,改善幅度约12倍。该指标仅反映存储读取环节,并不代表包含ChatGPT答案生成在内的整体响应速度。

Habitat是ChatGPT、API、Codex及内部服务读写数据所用的存储平台。OpenAI将数据按区域部署、构建缓存以及把部分服务迁移至Rust列为此次性能提升的主要措施。p50指按延迟排序后处于中间位置的请求值。