Mistral lance les modèles vocaux Voxtral 3 et des outils pour agents vocaux

Mistral a présenté Voxtral 3 le 20 octobre, associant une nouvelle famille de modèles vocaux à des outils permettant de créer des agents capables d’exécuter des actions pendant une conversation. Le lancement intègre la transcription et la génération de parole dans un processus plus large, qui utilise également un modèle de langage et des outils connectés. Mistral vise notamment l’assistance client, les centres de services et les assistants virtuels, où comprendre une demande orale ne constitue que le début de la tâche.

Le SDK pour agents vocaux gère la capture audio, la transcription, les réponses du modèle et la lecture de la parole. Il permet à une personne d’interrompre une réponse et à l’agent de récupérer des documents, d’effectuer une recherche sur le Web ou d’appeler des fonctions métier pendant que la conversation se poursuit. Son transport repose sur LiveKit, avec des interfaces pour Python et TypeScript. Les connaissances de l’application et les actions autorisées restent configurables, permettant à une même chaîne conversationnelle de prendre en charge différents services.

La famille de transcription distingue les enregistrements audio des flux en direct. Voxtral Mini Transcribe 3 et le modèle plus grand Small Transcribe 3 traitent des fichiers, tandis que Mini Transcribe Realtime 3 renvoie du texte à mesure que l’audio arrive. La documentation de Mistral décrit l’identification des locuteurs et le biais de vocabulaire, qui fournit des noms ou une terminologie spécialisée pour améliorer la reconnaissance. Pour les enregistrements, ces fonctions peuvent préserver l’attribution des propos sans considérer chaque mot inconnu comme un problème imposant de réentraîner un modèle.

Cette distinction entre les modes s’accompagne de limites concrètes. La transcription hors ligne fournit des horodatages par segment plutôt que par mot. L’identification des locuteurs en temps réel et la détection de fin de tour de parole sont chacune prises en charge, mais la documentation précise qu’elles ne peuvent pas être activées ensemble dans une même session. La détection de fin de tour aide l’agent à décider quand répondre ; la diarisation distingue les locuteurs. Une application ayant besoin des deux doit tenir compte de cette séparation, sans supposer que le lancement combine toutes les capacités dans une seule connexion.

En sortie, Voxtral TTS 3 génère de la parole à partir d’un texte complet, avec une variante en temps réel destinée aux conversations. La documentation actuelle mentionne des voix prédéfinies, le clonage, des balises d’émotion et de rythme ainsi que des contrôles de prononciation. L’audio peut arriver par morceaux avant que le fichier entier soit prêt, permettant de commencer la lecture plus tôt. Ces contrôles donnent aux développeurs un moyen de traiter séparément les noms, l’interprétation et l’identité vocale, sans dépendre entièrement de la réponse écrite du modèle de langage.

Certaines fonctions vocales restent plus limitées que ne pourrait le laisser penser la présentation générale du produit. Le guide de synthèse vocale indique que les instructions de style libres ne sont pas disponibles au lancement, tout en prenant en charge des balises explicites d’émotion et de rythme. Cette distinction sépare une demande décrivant une interprétation générale en langage courant d’un contrôle pris en charge et inséré dans le texte. Elle montre aussi pourquoi l’annonce du modèle doit être lue avec les définitions actuelles des fonctions de l’API.

Pour le déploiement, le SDK peut fonctionner sur un serveur ou dans une application de bureau, tandis que les applications Web obtiennent les identifiants de session par leur propre serveur. La connexion téléphonique utilise SIP et est proposée aux entreprises au lancement. Les agents enregistrés disposent de configurations versionnées, réutilisables entre les sessions. Ces détails rapprochent cette sortie d’une plateforme applicative plutôt que d’un simple point d’accès à la transcription, le logiciel environnant restant responsable de la façon dont chaque conversation se connecte à des systèmes réels.

Mistral propose la nouvelle famille vocale par des services hébergés et renvoie les échanges sur les déploiements sur site ou en cloud privé à son équipe commerciale. La fiche du modèle TTS présente la version 3.0 comme une préversion publique. Certaines spécifications de lancement diffèrent entre l’annonce et la documentation des modèles, de sorte que les contenus publiés ne donnent pas encore une description cohérente des tarifs et des langues prises en charge. Les performances conversationnelles réelles dépendront des modèles, des outils et de l’intégration choisis, au-delà des seuls composants vocaux.