NVIDIA associe NVLink Fusion et NVHBM pour séduire les concepteurs d’accélérateurs IA

NVIDIA a détaillé une nouvelle poussée d’infrastructure destinée aux entreprises qui conçoivent des accélérateurs IA personnalisés, en associant NVLink Fusion à une technologie mémoire appelée NVHBM. Le billet technique du 26 août vise une tension centrale du marché du matériel IA. Les hyperscalers et entreprises natives de l’IA veulent des XPUs adaptés à leurs charges, mais ces puces ont toujours besoin de mémoire à haute bande passante, de communication à l’échelle du rack, de logiciels et d’intégration opérationnelle pour rivaliser avec une infrastructure GPU mature.

NVLink Fusion est la technologie de connexion de NVIDIA pour intégrer des XPUs et CPUs personnalisés dans sa plateforme d’infrastructure IA. L’idée est de permettre à des accélérateurs semi-personnalisés d’utiliser la pile scale-up et scale-out de NVIDIA, l’architecture de rack MGX et l’écosystème existant, au lieu d’obliger chaque acheteur à bâtir un chemin isolé. C’est stratégique car le marché des puces IA se fragmente: grands laboratoires et fournisseurs cloud veulent du silicium spécialisé, mais ces puces doivent participer à l’entraînement, à l’inférence et aux charges d’expert parallelism qui exigent une communication rapide dans le rack.

NVHBM répond au problème au niveau du package. NVIDIA le décrit comme une technologie de base die HBM personnalisée, conçue et validée avec de grands fournisseurs mémoire. Les gains annoncés sont importants: jusqu’à 30% de bande passante mémoire en plus que HBM4e standard, jusqu’à 25% de surface de die de calcul supplémentaire pour des fonctions XPU, et jusqu’à 15% de consommation HBM en moins. NVIDIA affirme aussi réduire la surface PHY et de support jusqu’à 67% par rapport à JEDEC HBM4e, libérant plus d’espace pour le calcul ou d’autres logiques d’accélération.

Ces chiffres comptent parce que les systèmes IA modernes sont souvent limités par le mouvement des données, pas seulement par le débit arithmétique. L’inférence de grands modèles lit sans cesse les poids et le KV cache tout en servant les utilisateurs avec des objectifs de faible latence. L’entraînement et les charges agentiques déplacent des activations entre appareils, surtout lorsque les modèles mixture-of-experts utilisent l’expert parallelism. Plus de bande passante garde les moteurs de calcul alimentés; moins de consommation mémoire améliore la performance par watt et réduit la pression thermique.

NVIDIA présente également NVHBM comme un moyen d’offrir plus de flexibilité aux équipes de silicium personnalisé. La surface du package est l’une des contraintes les plus difficiles en conception d’accélérateurs, car les ingénieurs doivent répartir l’espace entre moteurs matriciels, unités vectorielles, cache, SRAM, interfaces mémoire, réseau et logique de contrôle. En réduisant l’empreinte de l’interface mémoire, NVHBM pourrait laisser davantage de surface aux fonctions spécifiques à une charge dans le même volume physique.

L’argument du rack est tout aussi important. NVIDIA dit que NVLink Fusion utilise une connectivité à base de chiplets pour relier des XPUs personnalisés aux domaines NVLink, permettant aux accélérateurs de communiquer sur un fabric scale-up commun et de se connecter aux CPUs via NVLink-C2C. Dans l’inférence mixture-of-experts, où des tokens peuvent être routés vers des experts sur différents appareils, ce fabric peut déterminer si le système agit comme une machine coordonnée ou comme un ensemble de puces avec goulots d’étranglement.

L’annonce est aussi défensive. NVIDIA domine l’entraînement et l’inférence IA avec ses GPUs, mais certains de ses plus grands clients conçoivent leurs propres puces pour gérer coût, approvisionnement et spécialisation. NVLink Fusion et NVHBM donnent à NVIDIA une voie pour rester la couche d’infrastructure même lorsque le rack contient davantage de silicium non-GPU. Les clients jugeront le prix, la disponibilité, le support mémoire, la maturité logicielle, l’effort d’intégration et la performance réelle, mais la direction est claire: l’infrastructure IA évolue vers des racks hétérogènes co-conçus.