OpenAI explique comment Habitat a changé d’échelle pour plus d’un milliard d’utilisateurs de ChatGPT

OpenAI a publié le 11 septembre un long billet d’ingénierie consacré à Habitat, la plateforme de stockage en ligne qui alimente ChatGPT, Codex et ses produits d’API. L’entreprise indique que Habitat traite plus de 70 millions de requêtes par seconde, soutient des produits utilisés chaque semaine par plus d’un milliard de personnes et gère plus de 500 pétaoctets de données dans près de 40 régions. Ce récit rappelle que les progrès visibles de l’IA reposent aussi sur une infrastructure capable de fournir des données avec une latence faible et une fiabilité constante.

Habitat n’était au départ qu’une bibliothèque cliente en Python, créée autour de DevDay 2023. Elle aidait les équipes produit à ne pas réimplémenter sans cesse les mêmes décisions: où résident les données, qui peut les lire, comment appliquer les règles de résidence, comment chiffrer, limiter le trafic et gérer les connexions. Avec l’expansion rapide de ChatGPT, ce modèle est devenu difficile à faire évoluer. Chaque changement de protocole ou de routage devait être coordonné entre de nombreux services, ce qui ralentissait les améliorations de résilience.

OpenAI a donc transformé Habitat en service central. L’autorisation, l’audit, les limites de taux, le routage et le contrôle d’accès peuvent désormais être appliqués au même endroit. La plateforme limite aussi volontairement la puissance des requêtes. Au lieu de laisser les produits exécuter des requêtes SQL arbitraires sur les magasins en ligne, elle propose des opérations d’objets et de relations dont le coût est plus prévisible. Dans un système aussi sollicité, cette contrainte devient une protection.

Le billet évoque également les limites de Python à cette échelle. La compression, le chiffrement, les sommes de contrôle, le routage et l’analyse de configuration peuvent charger le processeur et retarder l’ordonnancement asyncio, même lorsque les bases de données répondent vite. OpenAI a ajusté la concurrence, les rafraîchissements de configuration, la réutilisation des connexions et l’usage d’Envoy pour réduire ces latences. La migration vers Rust marque l’étape suivante. Au deuxième trimestre 2026, deux ingénieurs, aidés par Codex et GPT-5.5, ont réécrit le service. OpenAI affirme que la version Rust traite 95% des requêtes de production, avec une efficacité CPU multipliée par six et une efficacité mémoire multipliée par quinze.