NVIDIA、マルチモデルエージェント向けNemotron 3.5 LightningとNeMo Switchyardを発表

NVIDIAはオープンモデルのラインアップにNemotron 3.5 Lightningを追加し、すべてのリクエストを同じモデルへ送るのではなく、エージェントシステムが複数のモデルから選択できるようにするルーティングライブラリ、NeMo Switchyardを公開した。8月11日の発表では、大量の特化型処理に向く比較的コンパクトなモデルと、精度、遅延、コストなどの要件に応じてエージェントのワークフローの各段階を振り分けられるソフトウェアが組み合わされた。両製品は、業界が個々のモデル間の競争から、モデルがそれぞれ異なる役割を担うシステムへ移行していることを示している。

Nemotron 3.5 Lightningは、300億パラメーターのMixture-of-Expertsモデルだ。このアーキテクチャでは、リクエストごとにネットワークの一部だけを有効にするため、各トークンですべてのパラメーターを使わずに、より大きな総容量を提供できる。NVIDIAはLightningを、仕事のあらゆる部分を計画して解決するモデルではなく、より大規模なエージェントシステム内の実務担当として位置付けている。同社は、想定する特化型タスクとしてコードレビュー、ツール利用、セキュリティ警告の監視、請求に関する質問を挙げ、より大きなフロンティアモデルが全体のワークフローを調整できるとしている。

同社によると、Lightningは同クラスの他モデルと比べて最大4倍高速に出力し、エージェント型タスクを30%速く完了できる。これらの数値はNVIDIAと同社の発表に記載された評価に基づくため、購入者は自社のワークロードでモデルを検証する必要がある。今回のリリースはNemotron Coalitionからの協力を得て開発され、NVIDIAはコーディングエージェントの事後学習に使用したエージェント型強化学習データセットも公開する。組織はNVIDIA NeMoを使い、自社の分野別データ、ツール、作業パターンに合わせてモデルを適応させることもできる。

展開の柔軟性は、提案の中心的な要素だ。NVIDIAは、このモデルをRTX PC、DGX Spark、DGX Station、Jetsonシステムでローカル実行できるほか、ワークステーション、データセンター、エッジデバイス、クラウドサービス全体に展開できるとしている。リクエスト量が多いタスク、迅速な応答が必要なタスク、組織が第三者のモデルエンドポイントに送りたくない情報を扱うタスクでは、ローカルまたはオンプレミス運用が重要になり得る。LightningはHugging Face、ModelScope、OpenRouter、およびNVIDIA NIMマイクロサービスを含むNVIDIAのサービスから利用できる。

NeMo Switchyardは、別のコスト要因に対処する。高性能なフロンティアモデルは難しい推論段階では有用でも、定型的な分類や検索には不必要に高価な場合がある。このオープンソースライブラリを使えば、開発者は周辺アプリケーションを書き換えずに、プロンプトを異なるオープンモデル、プロプライエタリモデル、NVIDIAモデルへ送るルーターを作成できる。ルーティングロジックは、品質、応答時間、費用についてチームが望むバランスを反映するよう変更できる。NVIDIAによると、社内ベンチマークではフロンティア水準の精度を維持しながら、タスク完了コストをOpus 4.8だけを使用した場合の約3分の1に削減した。

発表に含まれるパートナーの結果は、ルーティングに関する主張の可能性と限界の両方を示す。LangChainは、145件の複数ターンDeep Agentsタスクで、フロンティアモデルに送った呼び出しが7%だけだった場合にコストが74%低下したと報告したが、精度は6%低下した。Rampは、同社のソフトウェア工学ベンチマークでフロンティアモデルの性能に並びつつ、コストを58%、実行時間を33%削減したとしている。Cognitionは、NVIDIAの社内環境でDevin Desktopとともに使用した段階式ルーターにより、平均コストが28%減ったと報告した。これらはベンダーとパートナーによる測定であり、普遍的な保証ではない。

今回のリリースにより、モデル選択はエージェント製品内の明示的な工学上の判断となる。ルーターは無駄を減らせる一方、評価すべき要素を新たに加える。誤ったルートを選べば、費用を節約しながら回答の質を落としたり、機密性の高い作業を誤った環境へ送ったりしかねない。Nemotron 3.5 LightningとSwitchyardの実用上の試金石は、チームがルーティング判断を測定し、品質低下を検出し、特定のモデルを必要とするタスクでシステムを上書きできるかどうかだ。この運用層が機能すれば、マルチモデルエージェントは一つの高価なデフォルトへの依存を減らし、得意な作業に応じて特化型サービスを選ぶ他の分散ソフトウェアシステムに近づく可能性がある。