Mistral lança modelos de voz Voxtral 3 e ferramentas para agentes de voz

A Mistral apresentou o Voxtral 3 em 20 de outubro, unindo uma nova família de modelos de voz a ferramentas para criar agentes capazes de executar ações durante uma conversa. O lançamento integra transcrição e geração de fala a um fluxo de trabalho mais amplo, que também utiliza um modelo de linguagem e ferramentas conectadas. A Mistral mira aplicações como atendimento ao cliente, centrais de serviço e assistentes virtuais, nas quais compreender um pedido falado é apenas o início da tarefa.

O SDK para agentes de voz gerencia captura de áudio, transcrição, respostas do modelo e reprodução da fala. Ele permite que uma pessoa interrompa uma resposta e que o agente recupere documentos, pesquise na web ou invoque funções de negócio enquanto a conversa continua. Seu transporte usa o LiveKit como base, com interfaces para Python e TypeScript. O projeto mantém configuráveis o conhecimento da aplicação e as ações permitidas, de modo que o mesmo fluxo de processamento de conversas possa atender a diferentes serviços.

A família de transcrição separa áudio gravado de transmissões ao vivo. O Voxtral Mini Transcribe 3 e o modelo maior Small Transcribe 3 processam arquivos, enquanto o Mini Transcribe Realtime 3 devolve texto à medida que o áudio chega. A documentação da Mistral descreve a identificação de falantes e o direcionamento de vocabulário, que permite fornecer nomes ou terminologia especializada para melhorar o reconhecimento. Para gravações, essas funções ajudam a preservar quem disse cada coisa sem tratar toda palavra desconhecida como um problema que exige treinar novamente um modelo.

A distinção entre modos também traz limites concretos. A transcrição offline fornece marcações de tempo por segmento, e não por palavra. A identificação de falantes em tempo real e a detecção de fim de turno são suportadas individualmente, mas a documentação diz que não podem ser habilitadas juntas na mesma sessão. A detecção de fim de turno ajuda o agente a decidir quando responder; a diarização distingue os falantes. Uma aplicação que precise das duas deve considerar essa separação, em vez de presumir que o lançamento reúne todas as capacidades em uma única conexão.

Na saída, o Voxtral TTS 3 gera fala a partir de um texto completo, com uma variante em tempo real para conversas. A documentação atual lista vozes predefinidas, clonagem, etiquetas de emoção e ritmo e controles de pronúncia. O áudio pode chegar em partes antes de o arquivo completo estar pronto, permitindo começar a reprodução mais cedo. Esses controles oferecem aos desenvolvedores uma maneira de lidar separadamente com nomes, interpretação e identidade vocal, em vez de depender inteiramente da resposta escrita do modelo de linguagem.

Alguns recursos de voz continuam mais limitados do que a apresentação geral do produto pode sugerir. O guia de texto para fala marca instruções de estilo livres como indisponíveis no lançamento, embora ofereça suporte a etiquetas explícitas de emoção e ritmo. A diferença separa um pedido que descreve uma interpretação geral em linguagem comum de um controle compatível colocado dentro do texto. Isso também mostra por que o anúncio do modelo e as definições atuais de recursos da API precisam ser lidos em conjunto.

Na implantação, o SDK pode ser executado em um servidor ou aplicativo de desktop, enquanto aplicações de navegador obtêm credenciais de sessão por meio de seu próprio servidor. A conexão telefônica usa SIP e está disponível para clientes empresariais no lançamento. Agentes salvos têm configurações versionadas que podem ser reutilizadas entre sessões. Esses detalhes aproximam o lançamento de uma plataforma de aplicações, mais do que de um endpoint isolado de transcrição, com o software ao redor responsável por determinar como cada conversa se conecta a sistemas reais.

A Mistral oferece a nova família de voz por meio de serviços hospedados e encaminha discussões sobre implantações locais ou em nuvem privada à equipe de vendas. A ficha do modelo TTS identifica a versão 3.0 como uma prévia pública. Algumas especificações do lançamento diferem entre o anúncio e a documentação dos modelos, de modo que os materiais publicados ainda não apresentam uma descrição consistente dos preços e dos idiomas suportados. O desempenho real das conversas dependerá dos modelos, ferramentas e integração escolhidos, além dos componentes de voz.