Qwen3.8-Flash-Next gibt Ausblick auf Qwen4, NVIDIA validiert Inferenz auf GB300

Alibabas Qwen-Team hat Qwen3.8-Flash-Next veröffentlicht, ein multimodales Mixture-of-Experts-Modell mit offenen Gewichten, das zugleich als früher Ausblick auf die Architektur der geplanten Qwen4-Familie dient. Die Ankündigung vom 26. August ist mehr als ein weiterer Checkpoint. Qwen legt Architekturänderungen offen, bevor die nächste vollständige Generation erscheint, damit Entwickler, Forscher und Infrastrukturteams die Entscheidungen in Richtung Produktion testen können.

Das Modell kombiniert ein Hauptnetz mit 125 Milliarden Parametern und zusätzliche 51 Milliarden Parameter in N-Gram-Embeddings. Pro Token werden etwa 6 Milliarden Parameter aktiviert. Qwen gibt an, nativ 262.144 Token Kontext zu unterstützen und mit YaRN auf eine Million Token erweiterbar zu sein. Damit ist die Veröffentlichung relevant für agentisches Coding, Dokumentanalyse und Unternehmensworkflows, in denen der nützliche Kontext aus Repositories, Verträgen, Logs, E-Mails und Werkzeugspuren besteht.

Die zentrale Architekturänderung ist ein Hybrid aus Gated DeltaNet und Qwen Sparse Attention. Drei von vier Schichten nutzen Gated DeltaNet, um historischen Kontext in einen festen rekurrenten Zustand zu komprimieren; die verbleibende Attention-Schicht ruft Informationen aus dem vollständigen Kontext ab. Qwen Sparse Attention ergänzt einen leichten Indexer, der den Kontext in Micro-Blocks gruppiert und die wichtigsten Bereiche auswählt, statt jedes Token gleich teuer zu verarbeiten. Dadurch sollen sowohl Attention-Rechenaufwand als auch Indexierungskosten sinken.

Qwens eigene Benchmarks melden bei einer Million Token bis zu 7,6-mal schnelleren Prefill und 4,9-mal schnelleres Decoding gegenüber Full Attention. In einem Serving-Szenario mit 90 Prozent Prefix-Cache-Trefferquote erreichte Qwen3.8-Flash-Next das 8,6-Fache des Prefill-Durchsatzes von Qwen3.7-Plus. Das Team sagt außerdem, die Trainingskosten hätten nur etwa ein Neuntel von Qwen3.7-Plus betragen, bei besseren Fähigkeiten in Coding- und Office-Aufgaben. Diese Angaben brauchen unabhängige Tests, adressieren aber das entscheidende Problem langer Kontexte: akzeptable Latenz und Kosten.

NVIDIA positionierte das Modell am selben Tag in seinem Accelerated-Computing-Stack. Das Unternehmen kündigte Best-Effort-Day-0-Support über SGLang, vLLM und TensorRT-LLM an, Validierung auf GB300 NVL72 sowie Post-Training-Rezepte über NeMo AutoModel und NeMo RL. NVIDIA berichtete, Qwen3.8-Flash-Next erreiche auf GB300 NVL72 mehr als 16.000 Token pro Sekunde und GPU sowie mehr als 200 Token pro Sekunde und Nutzer.

Diese Hardwarevalidierung ist wichtig, weil offene Gewichte allein keine praktische Nutzung garantieren. Entwickler brauchen Modelldateien, Inferenzrezepte, Fine-Tuning-Pfade und Produktionshinweise. Qwen stellt die Gewichte auf Hugging Face und ModelScope bereit; die gemanagte Produktionsversion läuft als Qwen3.8-Flash auf QwenCloud. Der genannte Preis liegt bei 0,16 US-Dollar pro Million Eingabetoken und 0,47 US-Dollar pro Million Ausgabetoken, die API soll kurz nach dem Beitrag folgen.

Die Veröffentlichung zeigt, wohin sich der Wettbewerb offener Modelle bewegt. Es geht nicht mehr nur um Benchmarkwerte bei Standardkontext. Entscheidend wird, ob ein Modell große Arbeitsgedächtnisse tragen, lange Artefakte verarbeiten und günstig genug für Agenten laufen kann, die während einer Aufgabe viele Modellaufrufe tätigen. Qwen3.8-Flash-Next gibt Entwicklern eine neue Architektur zur Prüfung, und NVIDIAs schnelle Unterstützung zeigt, dass Long-Context-Inferenz zur Produktionslast wird.