Qwen3.8-Flash-NextがQwen4の先行アーキテクチャを公開、NVIDIAはGB300で検証

AlibabaのQwenチームは、オープンウェイトの多モーダルMixture-of-Expertsモデル「Qwen3.8-Flash-Next」を公開した。これはQwen4ファミリーで使われる予定のアーキテクチャを早期に示すものでもある。8月26日の発表が重要なのは、単なる新しいチェックポイントではなく、次世代モデルの前に設計変更を公開し、開発者や研究者、インフラチームが実運用に向けて検証できるようにした点だ。

モデルは1250億パラメータの主要ネットワークに、510億パラメータのN-gram埋め込みを加え、各トークンで約60億パラメータを活性化する。Qwenによれば、標準で262,144トークンのコンテキストを扱え、YaRNで100万トークンまで拡張できる。これはエージェント型コーディング、文書分析、企業ワークフローに直結する。実際の仕事では短いプロンプトではなく、コードベース、契約書、ログ、メール、ツール履歴をまとめて扱う必要があるからだ。

中心となる変更は、Gated DeltaNetとQwen Sparse Attentionのハイブリッド構成である。4層のうち3層がGated DeltaNetを使って過去の文脈を固定サイズの再帰状態に圧縮し、残りの注意層が全体文脈から正確に情報を取り出す。Qwen Sparse Attentionは軽量なインデクサで文脈をmicro-blockにまとめ、重要な領域を選ぶことで、全トークンを同じコストで処理する必要を減らす。文脈が100万トークンに近づくほど、この設計の意味は大きくなる。

Qwenのベンチマークでは、100万トークン時にQwen Sparse Attentionはフルアテンション比でprefillを最大7.6倍、decodeを最大4.9倍高速化した。90%のprefix cacheヒット率を想定した配信環境では、Qwen3.8-Flash-NextがQwen3.7-Plusの8.6倍のprefillスループットを達成したという。さらに訓練コストはQwen3.7-Plusのおよそ9分の1で、コーディングやオフィス作業の能力も高めたと説明している。独立検証は必要だが、長文脈モデルの実用化には速度とコストが不可欠だという課題を正面から扱っている。

NVIDIAも同日、同モデルを自社の加速計算スタックに位置づけた。SGLang、vLLM、TensorRT-LLMを通じたDay 0の機能サポート、GB300 NVL72での検証、NeMo AutoModelとNeMo RLによる後処理・訓練レシピを提供すると説明している。NVIDIAは、GB300 NVL72上でQwen3.8-Flash-NextがGPUあたり毎秒16,000トークン超、ユーザーあたり毎秒200トークン超を達成したと報告した。

ハードウェア検証は、オープンウェイトの採用にとって重要である。モデルファイルだけでは十分ではなく、推論レシピ、微調整手段、本番配信の指針が必要になる。QwenはウェイトをHugging FaceとModelScopeで提供し、管理型の本番版をQwenCloud上のQwen3.8-Flashとして提供するとしている。価格は入力100万トークンあたり0.16ドル、出力100万トークンあたり0.47ドルとされ、APIは投稿後まもなく有効になる予定だ。

今回の発表は、オープンモデル競争の焦点が移っていることを示す。通常の文脈長でのベンチマークだけでなく、大きな作業記憶を持ち、長い成果物を読み、エージェントが繰り返し呼び出しても現実的な費用で動くかが問われる。Qwen3.8-Flash-Nextは検証可能な新設計を提供し、NVIDIAの即時対応は長文脈推論が研究デモではなく生産負荷になりつつあることを示している。