Mistral, Voxtral 3 음성 모델과 음성 에이전트 개발 도구 출시

Mistral은 10월 20일 Voxtral 3를 발표하며 새로운 음성 모델 제품군과 대화 중 작업을 실행할 수 있는 음성 에이전트 개발 도구를 함께 선보였다. 이번 출시는 전사와 음성 생성을 언어 모델 및 연결된 도구가 참여하는 더 넓은 작업 흐름에 통합한다. 회사는 고객 지원, 서비스 데스크, 가상 비서 등의 용도를 겨냥한다. 이런 분야에서 음성 요청을 이해하는 일은 작업을 끝내기 위한 출발점에 불과하다.

음성 에이전트 SDK는 오디오 수집, 전사, 모델 응답, 음성 재생을 관리한다. 이용자는 답변 도중에 끼어들 수 있으며, 에이전트는 대화가 이어지는 동안 문서를 가져오거나 웹을 검색하고 업무 함수를 호출할 수 있다. 전송 계층은 LiveKit을 기반으로 하며 Python과 TypeScript 바인딩을 제공한다. 애플리케이션의 지식과 허용된 작업은 설정할 수 있도록 설계돼 같은 대화 처리 흐름을 여러 서비스에 적용할 수 있다.

전사 모델 제품군은 녹음 오디오와 실시간 스트림을 구분한다. Voxtral Mini Transcribe 3와 더 큰 Small Transcribe 3는 파일을 처리하고, Mini Transcribe Realtime 3는 오디오가 들어오는 대로 텍스트를 반환한다. Mistral 문서는 화자 표시와 어휘 편향 기능을 설명한다. 후자는 이름이나 전문 용어를 제공해 인식 정확도를 높이는 방식이다. 녹음에서는 누가 무엇을 말했는지 보존하는 데 도움이 되며, 낯선 단어가 나올 때마다 모델을 새로 훈련해야 하는 문제로 취급하지 않아도 된다.

모드의 차이에는 구체적인 제약도 따른다. 오프라인 전사는 단어별 타임스탬프가 아닌 구간별 타임스탬프를 제공한다. 실시간 화자 표시와 발화 차례 종료 감지는 각각 지원하지만, 문서에 따르면 같은 세션에서 두 기능을 동시에 활성화할 수 없다. 차례 종료 감지는 에이전트가 언제 답할지 판단하도록 돕고, 화자 분리는 말하는 사람을 구별한다. 두 기능이 모두 필요한 애플리케이션은 이번 출시의 모든 기능이 하나의 연결에 결합돼 있다고 가정하지 말고 이러한 구분을 처리해야 한다.

출력 측면에서 Voxtral TTS 3는 완성된 텍스트를 음성으로 생성하며, 대화용 실시간 버전도 제공한다. 현재 문서는 사전 설정 음성, 음성 복제, 감정 및 말하기 속도 태그, 발음 제어를 나열한다. 전체 파일이 준비되기 전에 오디오가 조각 단위로 도착할 수 있어 재생을 더 일찍 시작할 수 있다. 이러한 제어를 통해 개발자는 언어 모델이 작성한 답변에 전적으로 의존하지 않고 이름 발음, 표현 방식, 목소리의 정체성을 각각 다룰 수 있다.

일부 음성 기능은 제품의 포괄적인 소개가 주는 인상보다 제약이 크다. 텍스트 음성 변환 가이드는 자유 형식의 스타일 지시를 출시 시점에는 사용할 수 없는 것으로 표시하면서, 명시적인 감정 및 속도 태그는 지원한다. 일반적인 언어로 전체적인 발화 연출을 설명하는 요청과 텍스트 안에 넣는 지원되는 제어는 구분된다. 이 차이는 모델 발표와 API의 현재 기능 정의를 함께 살펴야 하는 이유도 보여준다.

배포 측면에서 SDK는 서버나 데스크톱 애플리케이션에서 실행할 수 있으며, 브라우저 애플리케이션은 자체 서버를 통해 세션 자격 증명을 받는다. 전화 연결은 SIP를 사용하며 출시 시점에는 기업 고객에게 제공된다. 저장된 에이전트는 버전이 있는 설정을 사용해 여러 세션에서 재사용할 수 있다. 이러한 요소는 이번 출시가 독립적인 전사 엔드포인트보다는 애플리케이션 플랫폼에 가깝다는 점을 보여준다. 각 대화가 실제 시스템에 어떻게 연결되는지는 주변 소프트웨어가 담당한다.

Mistral은 새로운 음성 모델 제품군을 호스팅 서비스로 제공하며, 온프레미스나 프라이빗 클라우드 배포는 영업팀을 통해 논의하도록 하고 있다. TTS 모델 카드는 버전 3.0을 공개 미리 보기로 표시한다. 출시 시점의 일부 사양은 발표 내용과 모델 문서가 서로 달라, 공개된 자료만으로는 가격과 지원 언어에 대해 아직 일관된 설명을 얻을 수 없다. 실제 대화 성능은 음성 구성 요소만이 아니라 선택한 모델과 도구, 통합 방식에도 달려 있다.