NVIDIA、Groq 3 LPXを量産へ　AIエージェント推論はGPU単独の時代を越える

NVIDIAはGroq 3 LPXを本格生産に移したと発表し、Hot ChipsでAI工場における次の制約が推論であることを強調した。同社は8月24日、この対話型推論アクセラレーターがVera Rubin NVL72プラットフォームを拡張し、エージェント型AIシステムのトークン生成速度を大きく高めると説明した。今後のAIインフラは、より大きなモデルを訓練できるかだけでなく、導入後のモデルが長い文脈を読み、推論し、応答を待たせずに動けるかで評価される。

Groq 3 LPXが狙うのは、現代の推論で顕在化している具体的な問題だ。AIエージェントは、ファイルを読み、ツールを呼び、結果を確認し、コードを書き、計画を修正する作業を何百回も繰り返すことがある。長い文脈を維持したままこうした処理を続けると、生成すべきトークン量は急増する。GPUは多くの処理で強力だが、NVIDIAは応答性とトークン単価が商業上のボトルネックになる場面では、生成段階に特化した加速が必要だと主張している。

NVIDIAが示したベンチマークでは、Groq 3 LPXはオープンソースモデルGemma 4 31Bを10万トークン文脈で動かし、毎秒約3400出力トークンを達成した。同社はこれを同モデルで記録された最速性能と説明し、遅延に敏感な負荷では最も近い代替プラットフォームより約4倍反応が速いとも述べた。ベンダー指標は実環境での検証が必要だが、推論が訓練とは別の設計課題になっていることは明確だ。

この製品は、NVIDIAがGroqの推論技術をライセンスし関連人材を取り込んだ後の戦略も示している。Groq 3 LPXはGPUを置き換えるためではなく、Vera Rubinラックと連携するために設計されている。長文脈処理、トークン生成、ネットワーク、ストレージをそれぞれ適した部品に割り当て、一つの統合システムとして作る考え方だ。大規模AIクラウドや企業にとっては、単体チップの性能より、この協調設計が重要になる。

NVIDIAは、Nebiusを最初のAIクラウド採用企業として挙げ、同社がToken Factory推論プラットフォームにGroq 3 LPXを導入する予定だとした。Groqも早期採用企業の一つに含まれる。クラウドで使えるかどうかは、チップ発表が開発者に届くかを左右する。高速なエージェント推論が既存API経由で利用できれば、コーディングエージェント、研究支援、顧客対応自動化、業務ワークフローで効果が出やすい。

発表は、AI投資の費用対効果が厳しく問われる時期に重なる。企業は訓練クラスタとデータセンターに巨額投資してきたが、長期的に積み上がるのは導入後の推論コストだ。ユーザーの質問やエージェントの一手ごとに費用が発生する。低遅延と低トークンコストは、工学上の数字であると同時に事業上の条件でもある。Groq 3 LPXの量産は、AIハードウェア競争が大きな脳を作る段階から、使い続けられる速さを作る段階へ移っていることを示している。