NVIDIA startet Nemotron 3.5 Lightning und NeMo Switchyard für Multi-Modell-Agenten

NVIDIA hat sein Angebot offener Modelle um Nemotron 3.5 Lightning erweitert und NeMo Switchyard veröffentlicht, eine Routing-Bibliothek, die Agentensystemen die Auswahl zwischen mehreren Modellen ermöglichen soll, statt jede Anfrage an dasselbe Modell zu senden. Die Veröffentlichung vom 11. August verbindet ein relativ kompaktes Modell für spezialisierte Aufgaben mit hohem Volumen mit Software, die jeden Schritt eines Agenten-Workflows nach Anforderungen wie Genauigkeit, Latenz und Kosten weiterleiten kann. Zusammen zeigen die Produkte, wie sich die Branche vom Wettbewerb einzelner Modelle zu Systemen bewegt, in denen Modelle unterschiedliche Rollen übernehmen.

Nemotron 3.5 Lightning ist ein Mixture-of-Experts-Modell mit 30 Milliarden Parametern. Bei dieser Architektur wird für eine bestimmte Anfrage nur ein Teil des Netzes aktiviert. So kann das Modell mehr Gesamtkapazität bieten, ohne für jedes Token sämtliche Parameter zu verwenden. NVIDIA positioniert Lightning als Ausführenden innerhalb eines größeren Agentensystems und nicht als das Modell, das jeden Teil einer Aufgabe planen und lösen muss. Als vorgesehene spezialisierte Aufgaben nennt das Unternehmen Codeprüfung, Werkzeugnutzung, Überwachung von Sicherheitswarnungen und Abrechnungsfragen, während ein größeres Frontier-Modell den umfassenderen Workflow koordinieren kann.

Nach Angaben des Unternehmens kann Lightning bis zu viermal schneller ausgeben und agentische Aufgaben 30% schneller abschließen als andere Modelle seiner Klasse. Diese Zahlen stammen von NVIDIA und aus den im Unternehmensbeitrag beschriebenen Bewertungen; Käufer müssen das Modell daher weiterhin mit ihren eigenen Arbeitslasten testen. Die Veröffentlichung wurde mit Beiträgen der Nemotron Coalition entwickelt, und NVIDIA stellt einen Datensatz für agentisches bestärkendes Lernen bereit, der beim Nachtraining von Programmieragenten verwendet wurde. Organisationen können das Modell außerdem mit NVIDIA NeMo anhand eigener Fachdaten, Werkzeuge und Arbeitsmuster anpassen.

Die Flexibilität der Bereitstellung ist ein zentraler Teil des Angebots. NVIDIA zufolge kann das Modell lokal auf RTX-PCs, DGX Spark, DGX Station und Jetson-Systemen sowie auf Workstations, in Rechenzentren, auf Edge-Geräten und über Cloud-Dienste betrieben werden. Ein lokaler oder eigener Betrieb kann wichtig sein, wenn eine Aufgabe ein hohes Anfragevolumen aufweist, schnelle Antworten erfordert oder Informationen umfasst, die eine Organisation nicht an den Modellendpunkt eines Dritten senden will. Lightning ist über Hugging Face, ModelScope, OpenRouter und NVIDIA-Dienste verfügbar, darunter ein NVIDIA-NIM-Microservice.

NeMo Switchyard setzt bei einer anderen Kostenquelle an. Ein leistungsfähiges Frontier-Modell kann für einen schwierigen Denkschritt nützlich, für eine routinemäßige Klassifizierung oder Abfrage jedoch unnötig teuer sein. Mit der Open-Source-Bibliothek können Entwickler einen Router erstellen, der Prompts an verschiedene offene, proprietäre oder NVIDIA-Modelle sendet, ohne die umgebende Anwendung neu zu schreiben. Die Routing-Logik lässt sich so ändern, dass sie das bevorzugte Verhältnis eines Teams zwischen Qualität, Antwortzeit und Aufwand widerspiegelt. NVIDIA erklärt, interne Benchmarks hätten die Genauigkeit auf Frontier-Niveau gehalten und zugleich die Kosten für den Aufgabenabschluss auf nahezu ein Drittel gegenüber der alleinigen Nutzung von Opus 4.8 gesenkt.

Die im Beitrag genannten Partnerergebnisse veranschaulichen sowohl das Potenzial als auch die Grenzen der Routing-Aussagen. LangChain meldete bei 145 mehrstufigen Deep-Agents-Aufgaben 74% niedrigere Kosten, wenn nur 7% der Aufrufe an ein Frontier-Modell gingen, verzeichnete jedoch auch einen Genauigkeitsverlust von 6%. Ramp erklärte, in seinem Softwareentwicklungs-Benchmark bei gleicher Frontier-Modellleistung die Kosten um 58% und die Laufzeit um 33% gesenkt zu haben. Cognition berichtete von einer Verringerung der mittleren Kosten um 28% für einen stufenweisen Router, der mit Devin Desktop in der internen Umgebung von NVIDIA eingesetzt wurde. Dies sind Messungen von Anbietern und Partnern, keine allgemeingültige Garantie.

Die Veröffentlichung macht die Modellauswahl zu einer ausdrücklichen technischen Entscheidung in Agentenprodukten. Ein Router kann Verschwendung verringern, führt aber zugleich eine weitere Komponente ein, die bewertet werden muss: Eine schlecht gewählte Route kann Geld sparen, dabei jedoch die Antwort verschlechtern oder sensible Arbeit an die falsche Umgebung senden. In der Praxis werden sich Nemotron 3.5 Lightning und Switchyard daran messen lassen müssen, ob Teams Routing-Entscheidungen messen, Qualitätsrückgänge erkennen und das System übersteuern können, wenn eine Aufgabe ein bestimmtes Modell verlangt. Bewährt sich diese Betriebsebene, könnten Multi-Modell-Agenten weniger von einer einzigen teuren Standardoption abhängen und stärker anderen verteilten Softwaresystemen ähneln, in denen spezialisierte Dienste nach der Arbeit ausgewählt werden, die sie am besten erledigen.