Mistral、音声モデルVoxtral 3と音声エージェント開発ツールを発表

Mistralは10月20日、Voxtral 3を発表した。新たな音声モデル群と、会話中に操作を実行できる音声エージェントの開発ツールを組み合わせたものだ。文字起こしと音声生成を、言語モデルや接続されたツールも使う幅広い処理の流れに組み込む。対象となるのは顧客サポート、サービスデスク、仮想アシスタントなどの用途で、こうした場面では発話された依頼を理解することはタスクの出発点にすぎない。

音声エージェントSDKは、音声の取り込み、文字起こし、モデルの応答、音声再生を管理する。利用者が回答の途中に割り込めるほか、会話を続けながらエージェントが文書を取得し、ウェブを検索し、業務関数を呼び出すこともできる。通信部分はLiveKitを基盤とし、PythonとTypeScriptのバインディングを提供する。アプリケーションが持つ知識や許可された操作は設定可能なため、同じ会話処理の流れを異なるサービスに使える。

文字起こしモデル群は、録音とライブストリームを分けている。Voxtral Mini Transcribe 3と、より大きいSmall Transcribe 3はファイルを処理し、Mini Transcribe Realtime 3は音声が届くのに合わせて文字を返す。Mistralの文書には話者ラベル付けと語彙バイアスが記載されている。後者は人名や専門用語を与え、認識精度を高める機能だ。録音では、誰が何を話したかを残す助けとなり、未知の語句が出るたびにモデルの再学習が必要だと扱わずに済む。

各モードの違いには、具体的な制約もある。オフラインの文字起こしが提供するのはセグメント単位のタイムスタンプであり、単語単位ではない。リアルタイムの話者ラベル付けとターン終了検出はそれぞれ利用できるが、文書によると同じセッション内で同時に有効化できない。ターン終了検出はエージェントが回答時点を判断するのを助け、話者分離は発言者を識別する。両方を必要とするアプリケーションは、すべての機能を一つの接続で組み合わせられると考えず、この区別に対応する必要がある。

出力側では、Voxtral TTS 3が完成したテキストから音声を生成し、会話向けのリアルタイム版も用意される。現在の文書には、プリセット音声、音声クローン、感情と話速のタグ、発音制御が記載されている。音声はファイル全体が完成する前に部分ごとに届くため、再生を早く始められる。こうした制御により、開発者は言語モデルが書いた回答だけに頼らず、名前の発音、話し方、声の個性をそれぞれ扱える。

一部の音声機能には、製品全体の説明から受ける印象よりも制約がある。テキスト読み上げのガイドは、自由形式のスタイル指示を公開時点では利用不可とする一方、明示的な感情と話速のタグには対応している。通常の言葉で発話全体の演出を説明する要求と、テキスト内に置く対応済みの制御は別のものだ。この違いは、モデルの発表とAPIの現時点での機能定義を合わせて読む必要性も示している。

導入面では、SDKをサーバーまたはデスクトップアプリケーションで実行でき、ブラウザーアプリケーションは自らのサーバーを通じてセッションの認証情報を取得する。電話接続にはSIPを使い、公開時点では企業顧客向けに提供される。保存したエージェントの設定はバージョン管理され、複数のセッションで再利用できる。こうした点から、今回の提供は単独の文字起こしエンドポイントよりもアプリケーション基盤に近く、各会話を実際のシステムへどうつなぐかは周辺ソフトウェアが担う。

Mistralは新たな音声モデル群をホスト型サービスで提供し、オンプレミスまたはプライベートクラウドへの展開については営業チームを通じて相談する形としている。TTSのモデルカードはバージョン3.0をパブリックプレビューと表記する。公開時の一部仕様は発表とモデル文書で異なっており、公開資料からは価格や対応言語について一貫した説明をまだ得られない。実際の会話性能は音声部品だけで決まらず、選択するモデルやツール、統合方法にも左右される。