NVIDIA kombiniert NVLink Fusion und NVHBM für Custom-KI-Beschleuniger

NVIDIA hat einen neuen Infrastrukturvorstoß für Unternehmen beschrieben, die eigene KI-Beschleuniger entwickeln. Im Mittelpunkt stehen NVLink Fusion und eine Speichertechnologie namens NVHBM. Der technische Beitrag vom 26. August adressiert eine zentrale Spannung im KI-Hardwaremarkt. Hyperscaler und KI-native Unternehmen wollen arbeitslastspezifische XPUs, doch diese Chips brauchen High-Bandwidth Memory, Rack-Scale-Kommunikation, Softwareunterstützung und operative Integration, wenn sie mit ausgereifter GPU-Infrastruktur konkurrieren sollen.

NVLink Fusion ist NVIDIAs Verbindungstechnologie, um Custom-XPUs und CPUs in die eigene KI-Infrastrukturplattform einzubinden. Semi-custom Beschleuniger sollen die Scale-up- und Scale-out-Technik, MGX-Rackarchitektur und das Ökosystem von NVIDIA nutzen können, statt dass jeder Käufer einen isolierten Infrastrukturpfad aufbauen muss. Strategisch ist das wichtig, weil der KI-Chipmarkt fragmentiert: Große Labore und Cloudanbieter wollen spezialisiertes Silizium, doch diese Chips müssen weiterhin an Training, Inferenz und Expert-Parallel-Workloads teilnehmen, die schnelle Kommunikation im Rack benötigen.

NVHBM setzt auf Paketebene an. NVIDIA beschreibt es als kundenspezifische HBM-Base-Die-Technologie, die mit führenden Speicheranbietern entworfen und validiert wurde. Die genannten Vorteile sind deutlich: bis zu 30 Prozent mehr Speicherbandbreite als Standard-HBM4e, bis zu 25 Prozent mehr Compute-Die-Fläche für zusätzliche XPU-Funktionen und bis zu 15 Prozent geringerer HBM-Stromverbrauch. Außerdem soll die PHY- und Unterstützungsfläche gegenüber JEDEC HBM4e um bis zu 67 Prozent sinken, wodurch mehr Paketfläche für Compute oder andere Beschleunigerlogik frei wird.

Diese Zahlen zählen, weil moderne KI-Systeme häufig durch Datenbewegung begrenzt werden, nicht nur durch arithmetischen Durchsatz. Große Modellinferenz liest fortlaufend Gewichte und KV-Cache-Daten, während Nutzer mit niedriger Latenz bedient werden. Training und agentische Workloads bewegen Aktivierungen zwischen Geräten, besonders bei Mixture-of-Experts-Modellen mit Expert Parallelism. Mehr Speicherbandbreite hält Recheneinheiten versorgt; geringerer Speicherstrom verbessert Leistung pro Watt und entspannt Kühlung und Stromversorgung.

NVIDIA stellt NVHBM auch als Weg zu mehr Designfreiheit für Custom-Silicon-Teams dar. Paketfläche ist eine harte Einschränkung, weil Ingenieure Platz zwischen Matrix-Engines, Vektoreinheiten, Cache, SRAM, Speicherinterfaces, Netzwerk und Steuerlogik aufteilen müssen. Wenn das Speicherinterface weniger Fläche beansprucht, können innerhalb desselben Gehäuses mehr arbeitslastspezifische Funktionen untergebracht werden. Für einen Cloudanbieter mit inference-optimierter XPU kann diese Flexibilität so wichtig sein wie reine Bandbreite.

Der Rack-Scale-Aspekt ist ebenso wesentlich. NVIDIA sagt, NVLink Fusion nutze chipletbasierte Konnektivität, um Custom-XPUs in NVLink-Domänen zu integrieren, sodass Beschleuniger über ein gemeinsames Scale-up-Fabric kommunizieren und per NVLink-C2C an CPUs angebunden werden können. Bei Mixture-of-Experts-Inferenz, bei der Token an Experten auf unterschiedlichen Geräten geleitet werden, entscheidet dieses Fabric darüber, ob das System wie eine koordinierte Maschine oder wie eine Gruppe gebremster Chips funktioniert.

Die Ankündigung ist auch defensiv. NVIDIA dominiert KI-Training und Inferenz mit GPUs, aber einige der größten Kunden entwerfen eigene Chips, um Kosten, Versorgung und Spezialisierung zu steuern. NVLink Fusion und NVHBM geben NVIDIA einen Weg, Infrastrukturschicht zu bleiben, selbst wenn mehr Nicht-GPU-Silizium im Rack steckt. Kunden werden Preis, Verfügbarkeit, Speicheranbieter-Support, Software-Reife, Integrationsaufwand und reale Leistung bewerten. Die Richtung ist dennoch klar: KI-Infrastruktur bewegt sich zu heterogenen Racks, in denen GPUs, Custom-XPUs, CPUs, HBM und Netzwerke gemeinsam entwickelt werden.