OpenAI erklärt, wie Habitat für mehr als eine Milliarde ChatGPT-Nutzer skaliert wurde

OpenAI hat am 11. September einen technischen Bericht über Habitat veröffentlicht, die Online-Speicherplattform hinter ChatGPT, Codex und den API-Produkten des Unternehmens. Nach Angaben von OpenAI verarbeitet Habitat mehr als 70 Millionen Anfragen pro Sekunde, unterstützt Produkte mit mehr als einer Milliarde wöchentlichen Nutzern und verwaltet über 500 Petabyte Daten in fast 40 Regionen. Der Beitrag zeigt, dass der Wettbewerb bei KI nicht nur durch Modellqualität entschieden wird. Ebenso wichtig ist die Infrastruktur, die Daten schnell, sicher und vorhersehbar bereitstellt.

Habitat begann rund um DevDay 2023 als Python-Clientbibliothek. Sie sollte Produktteams davon entlasten, immer wieder Fragen zu Speicherort, Berechtigungen, Datenresidenz, Verschlüsselung, Routing und Verbindungspools zu lösen. Mit dem Wachstum von ChatGPT stieß dieses Modell an Grenzen. Änderungen am Protokoll oder an der regionalen Ausfallsicherheit mussten in viele Dienste ausgerollt werden. Dadurch wurden selbst sinnvolle Infrastrukturverbesserungen langsam und fehleranfällig.

OpenAI machte Habitat deshalb zu einem zentralen Dienst. Seitdem können Autorisierung, Audit-Logs, Zugriffskontrollen, Ratenbegrenzung und Routing an einer Stelle durchgesetzt werden. Auch die API ist bewusst begrenzt. Statt beliebige SQL-Abfragen auf heiße Online-Speicher zuzulassen, bietet Habitat vorhersehbare Objekt- und Beziehungsoperationen. Diese Einschränkung ist Teil der Zuverlässigkeitsstrategie, weil unkontrollierte Abfragen in stark frequentierten Systemen schnell zu Ausfällen führen können.

Der Bericht beschreibt zudem die Kosten von Python in dieser Größenordnung. Routing, Komprimierung, Verschlüsselung, Prüfsummen und Konfigurationsverarbeitung erzeugten CPU-Last und konnten den asyncio-Loop verzögern. OpenAI passte Konfigurationsaktualisierungen, Prozessparallelität, Wiederverwendung von Verbindungen und Envoy-Multiplexing an, um Latenzspitzen zu reduzieren. Der größere Schritt war die Migration zu Rust. Im zweiten Quartal 2026 schrieben zwei Ingenieure den Dienst mithilfe von Codex und GPT-5.5 neu. Die Rust-Version verarbeitet laut OpenAI inzwischen 95 Prozent der Produktionsanfragen und ist sechsmal CPU-effizienter sowie fünfzehnmal speichereffizienter.