Mistral lanza los modelos de voz Voxtral 3 y herramientas para agentes de voz

Mistral presentó Voxtral 3 el 20 de octubre, combinando una nueva familia de modelos de voz con herramientas para crear agentes capaces de realizar acciones durante una conversación. El lanzamiento integra la transcripción y la generación de voz en un flujo de trabajo más amplio que también utiliza un modelo de lenguaje y herramientas conectadas. Mistral apunta a aplicaciones como atención al cliente, mesas de servicio y asistentes virtuales, donde comprender una petición hablada es solo el principio de la tarea.

El SDK para agentes de voz gestiona la captura de audio, la transcripción, las respuestas del modelo y la reproducción hablada. Permite que una persona interrumpa una respuesta y que el agente recupere documentos, busque en la web o invoque funciones empresariales mientras continúa la conversación. Su transporte se basa en LiveKit y ofrece interfaces para Python y TypeScript. El diseño permite configurar los conocimientos de la aplicación y las acciones autorizadas, de modo que una misma cadena de procesamiento conversacional pueda atender distintos servicios.

La familia de transcripción separa el audio grabado de las transmisiones en directo. Voxtral Mini Transcribe 3 y el modelo más grande Small Transcribe 3 procesan archivos, mientras que Mini Transcribe Realtime 3 devuelve texto conforme llega el audio. La documentación de Mistral describe el etiquetado de hablantes y el sesgo de vocabulario, que permite proporcionar nombres o terminología especializada para mejorar el reconocimiento. En las grabaciones, estas funciones pueden conservar quién dijo cada cosa sin tratar toda palabra desconocida como un problema que exige volver a entrenar un modelo.

La diferencia entre modos también implica límites concretos. La transcripción sin conexión ofrece marcas de tiempo por segmento, no por palabra. El etiquetado de hablantes en tiempo real y la detección del final de turno están disponibles por separado, pero la documentación indica que no pueden activarse juntos en una misma sesión. La detección del final de turno ayuda al agente a decidir cuándo responder; la diarización distingue a los hablantes. Una aplicación que necesite ambas debe tener en cuenta esa separación, en lugar de suponer que todas las capacidades del lanzamiento se combinan en una sola conexión.

En la salida, Voxtral TTS 3 genera voz a partir de un texto completo y dispone de una variante en tiempo real para conversaciones. La documentación actual enumera voces predefinidas, clonación, etiquetas de emoción y ritmo, y controles de pronunciación. El audio puede llegar por partes antes de que esté listo el archivo completo, lo que permite iniciar antes la reproducción. Estos controles ofrecen a los desarrolladores una forma de gestionar nombres, expresión e identidad vocal por separado, sin depender únicamente de la respuesta escrita del modelo de lenguaje.

Algunas funciones de voz siguen siendo más limitadas de lo que podría sugerir la presentación general del producto. La guía de texto a voz marca las instrucciones de estilo libres como no disponibles en el lanzamiento, aunque admite etiquetas explícitas de emoción y ritmo. La distinción separa una solicitud que describe una interpretación general en lenguaje corriente de un control compatible introducido dentro del texto. También muestra por qué el anuncio del modelo debe leerse junto con las definiciones actuales de funciones de la API.

Para el despliegue, el SDK puede ejecutarse en un servidor o una aplicación de escritorio, y las aplicaciones de navegador obtienen credenciales de sesión a través de su propio servidor. La conexión telefónica utiliza SIP y está disponible para clientes empresariales en el lanzamiento. Los agentes guardados tienen configuraciones con versiones que pueden reutilizarse entre sesiones. Estos detalles acercan el lanzamiento a una plataforma de aplicaciones más que a un punto de acceso de transcripción aislado, mientras que el software que lo rodea determina cómo se conecta cada conversación a sistemas reales.

Mistral ofrece la nueva familia de voz mediante servicios alojados y remite a su equipo comercial para hablar de despliegues locales o en nubes privadas. La ficha del modelo TTS identifica la versión 3.0 como una vista previa pública. Algunas especificaciones del lanzamiento difieren entre el anuncio y la documentación de los modelos, por lo que los materiales publicados todavía no ofrecen una descripción coherente de los precios y la cobertura de idiomas. El rendimiento conversacional real dependerá de los modelos, las herramientas y la integración elegidos, además de los componentes de voz.