OpenAI mostra como o Habitat escalou para mais de um bilhão de usuários do ChatGPT

A OpenAI publicou em 11 de setembro um relato técnico sobre o Habitat, sua plataforma de armazenamento online usada por ChatGPT, Codex e produtos de API. Segundo a empresa, o sistema processa mais de 70 milhões de requisições por segundo, atende produtos usados por mais de um bilhão de pessoas por semana e administra mais de 500 petabytes de dados em quase 40 regiões. A notícia chama atenção porque revela a camada menos visível da corrida da IA: sem armazenamento, roteamento e controle de acesso confiáveis, mesmo modelos avançados parecem lentos ou instáveis.

O Habitat nasceu perto do DevDay 2023 como uma biblioteca cliente em Python. Ele ajudava equipes de produto a lidar com perguntas repetidas sobre onde buscar dados, quem podia acessá-los, como aplicar regras de residência, quando limitar tráfego e como manter conexões. Com o crescimento do ChatGPT, esse modelo ficou difícil de operar. Alterações de protocolo e melhorias de resiliência precisavam ser distribuídas para muitos serviços, aumentando o risco de versões antigas ou inconsistentes afetarem a produção.

A OpenAI então transformou o Habitat em um serviço centralizado. A mudança concentrou autorização, logs de auditoria, limites de taxa e decisões de roteamento em um ponto comum. O desenho também restringe consultas: em vez de permitir SQL arbitrário contra bases online, Habitat oferece operações mais previsíveis sobre objetos e relações. Para tráfego de produção em escala extrema, previsibilidade operacional vale tanto quanto flexibilidade.

O texto também expõe as limitações de Python nesse ambiente. Compressão, criptografia, checksums, roteamento e processamento de configurações podem consumir CPU e atrasar o agendamento do asyncio, elevando latências de cauda. A equipe mitigou isso com ajustes em atualização de configurações, concorrência por processo, reutilização de conexões e uso de Envoy com HTTP/2. Depois veio a migração para Rust. No segundo trimestre de 2026, dois engenheiros, usando Codex e GPT-5.5, reescreveram o serviço. A OpenAI afirma que a versão em Rust já carrega 95% das requisições de produção e entrega eficiência seis vezes maior em CPU e quinze vezes maior em memória.