NVIDIA、NVLink FusionとNVHBMでカスタムAIアクセラレータを取り込む

NVIDIAは、カスタムAIアクセラレータを開発する企業に向けた新たなインフラ戦略として、NVLink FusionとNVHBMと呼ぶメモリ技術の組み合わせを詳しく説明した。8月26日の技術記事が扱うのは、AIハードウェア市場の中心的な緊張関係である。ハイパースケーラーやAIネイティブ企業は用途別に最適化されたXPUを求める一方、それらのチップが成熟したGPU基盤と競争するには、高帯域メモリ、ラック規模通信、ソフトウェア支援、運用統合が必要になる。

NVLink Fusionは、カスタムXPUやCPUをNVIDIAのAIインフラプラットフォームに接続するための技術である。半カスタムアクセラレータが、NVIDIAのscale-upおよびscale-out技術スタック、MGXラックアーキテクチャ、広いエコシステムを利用できるようにする狙いだ。これは戦略的に重要だ。AIチップ市場では、大手研究所やクラウド事業者が専用シリコンを求めているが、そのチップも高速なラック内通信に依存する大規模訓練、推論、エキスパート並列のワークロードに参加しなければならない。

NVHBMはパッケージレベルの課題に対応する。NVIDIAは、主要メモリベンダーと設計・検証したカスタムHBMベースダイ技術だと説明する。標準HBM4e比で最大30%高いメモリ帯域、追加XPU機能に使える最大25%の計算ダイ面積、最大15%低いHBM消費電力をうたう。さらにJEDEC HBM4eと比べてPHYとサポート領域を最大67%削減し、計算や他のアクセラレータ論理に使えるパッケージ面積を増やすという。

これらの数字は重要だ。現代のAIシステムでは、演算性能だけでなくデータ移動が制約になることが多い。大規模モデルの推論は、低遅延でユーザーに応答しながらモデル重みやKVキャッシュを繰り返し読む。訓練やエージェント型負荷では、特にMixture-of-Expertsでエキスパート並列を使う場合、アクティベーションがデバイス間を移動する。メモリ帯域が増えれば計算エンジンにデータを供給しやすくなり、消費電力が下がれば大規模ラックの電力と冷却の余裕が生まれる。

NVIDIAはNVHBMを、カスタムシリコンチームに設計自由度を与える仕組みとしても示す。アクセラレータ設計では、行列演算器、ベクトルユニット、キャッシュ、SRAM、メモリインターフェース、ネットワーク、制御ロジックに限られた面積を配分しなければならない。メモリインターフェースの占有を減らせれば、同じ物理パッケージ内で用途別機能により多くの面積を割ける。

ラック規模の接続も同じくらい重要である。NVLink Fusionはチップレットベースの接続でカスタムXPUをNVLinkドメインに橋渡しし、共有scale-up fabric上でアクセラレータ同士を通信させ、NVLink-C2CでCPUにも接続できるという。Mixture-of-Expertsのサービスでは、トークンが異なるデバイス上の専門家へ送られることがあり、このfabricがシステム全体の一体感を左右する。

この発表には防御的な意味もある。NVIDIAはGPUでAI訓練と推論を支配しているが、大口顧客の一部はコスト、供給、用途特化のために自社チップを設計している。NVLink FusionとNVHBMは、ラックに非GPUシリコンが増えてもNVIDIAがインフラ層に残る道を与える。最終的な評価は価格、供給、メモリベンダー対応、ソフトウェア成熟度、統合の難しさ、実ワークロードでの性能で決まるが、方向性は明確だ。AI基盤は異種混在ラックへ向かっている。