KI-Modelle
Mistral startet Voxtral-3-Sprachmodelle und Werkzeuge für Sprachagenten
Mistral stellt Voxtral 3 und ein SDK vor, das Transkription, Schlussfolgern, Werkzeugaufrufe und Sprache verbindet, mit eigenen Modellen für Aufnahmen und Live-Audio.
Mistral hat am 20. Oktober Voxtral 3 vorgestellt und verbindet damit eine neue Familie von Sprachmodellen mit Werkzeugen zum Aufbau von Sprachagenten, die während eines Gesprächs Aktionen ausführen können. Die Veröffentlichung integriert Transkription und Spracherzeugung in einen umfassenderen Ablauf, der auch ein Sprachmodell und angebundene Werkzeuge nutzt. Mistral zielt auf Anwendungen wie Kundensupport, Servicedesks und virtuelle Assistenten, bei denen das Verstehen einer gesprochenen Anfrage erst den Anfang der Aufgabe darstellt.
Das SDK für Sprachagenten verwaltet Audioaufnahme, Transkription, Modellantworten und gesprochene Wiedergabe. Anrufende können eine Antwort unterbrechen, und ein Agent kann während des laufenden Gesprächs Dokumente abrufen, im Web suchen oder Geschäftsfunktionen aufrufen. Die Übertragung baut auf LiveKit auf, mit Anbindungen für Python und TypeScript. Das Wissen der Anwendung und die erlaubten Aktionen bleiben konfigurierbar, sodass derselbe Ablauf zur Gesprächsverarbeitung unterschiedliche Dienste unterstützen kann.
Die Transkriptionsfamilie unterscheidet zwischen aufgezeichnetem Audio und Live-Streams. Voxtral Mini Transcribe 3 und das größere Small Transcribe 3 verarbeiten Dateien, während Mini Transcribe Realtime 3 Text ausgibt, sobald Audio eintrifft. Mistrals Dokumentation beschreibt Sprecherkennzeichnung und Wortschatzvorgaben, über die Namen oder Fachbegriffe zur Verbesserung der Erkennung bereitgestellt werden. Bei Aufnahmen können diese Funktionen festhalten, wer was gesagt hat, ohne jedes unbekannte Wort als Problem zu behandeln, das ein neu trainiertes Modell erfordert.
Die unterschiedlichen Modi bringen auch konkrete Grenzen mit sich. Die Offline-Transkription liefert Zeitstempel für Segmente statt für einzelne Wörter. Sprecherkennzeichnung in Echtzeit und Erkennung des Gesprächsbeitragsendes werden jeweils unterstützt, können laut Dokumentation aber nicht gemeinsam in derselben Sitzung aktiviert werden. Die Erkennung des Beitragsendes hilft dem Agenten zu entscheiden, wann er antworten soll; die Sprechertrennung unterscheidet die Beteiligten. Eine Anwendung, die beides benötigt, muss diese Trennung berücksichtigen und kann nicht davon ausgehen, dass sich alle angekündigten Fähigkeiten in einer einzigen Verbindung kombinieren lassen.
Auf der Ausgabeseite erzeugt Voxtral TTS 3 Sprache aus vollständigem Text. Für Gespräche gibt es eine Echtzeitvariante. Die aktuelle Dokumentation nennt voreingestellte Stimmen, Stimmenklonen, Kennzeichnungen für Emotion und Sprechtempo sowie Aussprachekontrollen. Audio kann stückweise eintreffen, bevor die gesamte Datei fertig ist, wodurch die Wiedergabe früher beginnen kann. Diese Steuerungsmöglichkeiten erlauben Entwicklern, Namen, Vortragsweise und stimmliche Identität getrennt zu behandeln, statt sich vollständig auf die schriftliche Antwort des Sprachmodells zu verlassen.
Einige Sprachfunktionen bleiben eingeschränkter, als es die allgemeine Produktdarstellung vermuten lassen könnte. Der Leitfaden zur Text-zu-Sprache-Funktion kennzeichnet frei formulierte Stilanweisungen zum Start als nicht verfügbar, unterstützt jedoch ausdrückliche Kennzeichnungen für Emotion und Sprechtempo. Damit wird zwischen einer in Alltagssprache beschriebenen Gesamtgestaltung des Vortrags und einem unterstützten Steuerelement innerhalb des Textes unterschieden. Das verdeutlicht auch, warum die Modellankündigung zusammen mit den aktuellen Funktionsdefinitionen der API gelesen werden muss.
Für die Bereitstellung kann das SDK auf einem Server oder in einer Desktop-Anwendung laufen. Browser-Anwendungen beziehen ihre Sitzungszugangsdaten über den eigenen Server. Die Telefonanbindung verwendet SIP und steht zum Start Unternehmenskunden zur Verfügung. Gespeicherte Agenten besitzen versionierte Konfigurationen, die sich sitzungsübergreifend wiederverwenden lassen. Diese Einzelheiten rücken die Veröffentlichung näher an eine Anwendungsplattform als an einen eigenständigen Transkriptionsendpunkt. Die umgebende Software bleibt dafür verantwortlich, wie jedes Gespräch mit realen Systemen verbunden wird.
Mistral bietet die neue Sprachfamilie über gehostete Dienste an und bespricht lokale Installationen oder Bereitstellungen in einer privaten Cloud über sein Vertriebsteam. Die Modellkarte für TTS kennzeichnet Version 3.0 als öffentliche Vorschau. Einige Spezifikationen zum Start unterscheiden sich zwischen der Ankündigung und der Modelldokumentation. Die veröffentlichten Materialien liefern daher noch keine einheitliche Darstellung der Preise und der unterstützten Sprachen. Die tatsächliche Gesprächsleistung hängt über die Sprachkomponenten hinaus von den gewählten Modellen, Werkzeugen und ihrer Integration ab.