Google、Geminiモデルにエージェント型動画理解を導入

Googleは9月1日、Gemini向けにエージェント型動画理解を開始し、Gemini 3.7 Flash、Gemini 3.6 Flash、Gemini 3.5 Flash-Liteに新しい動画分析モードを追加した。同社によると、この機能は標準的な動画分析ベンチマークでトークン消費を最大88%、コストを最大66%削減し、品質を最大7%改善できる。Google AI StudioとGemini Enterprise Agent PlatformのGemini APIを通じて、動画アップロードとYouTube動画で利用できる。

この機能は、モデルが動画を取り込む方法を変える。従来の静的処理では、動画を固定フレームレートで読み込む。デフォルトは1秒1フレームで、開発者はAPIで調整できる。しかし長い動画や重要な情報が一瞬だけ現れるタスクでは、この方法は非効率になりやすい。エージェント型動画理解では、Geminiが目的に応じて映像フレーム、音声、文字起こしを横断し、必要な区間を動的に検索、走査、検査する。

Googleはこれを、コード実行とGeminiのネイティブ画像理解を組み合わせるエージェント型ビジョンに近い考え方だと説明する。動画では、同じエージェントループにより、モデルが何を見るか、どの速度で見るか、フレーム、音声、文字起こしのどれを使うかを判断できる。90分の講義で特定の瞬間を探す場合、すべての秒を同じ深さで処理する必要はない。文字起こしで範囲を絞り、該当箇所のフレームを確認し、必要なら音声を聞き、選んだ根拠に基づいて答えられる。

効率向上は長尺動画で特に大きな意味を持つ。教育ツール、メディアアーカイブ、セキュリティ分析、会議レビュー製品を作る開発者は、精度とコストの間でよく悩む。高いフレームサンプリングは多くの細部を拾えるが、トークンと費用がすぐ増える。低いサンプリングは安いが、速い動き、微妙な異常、正確な場面境界を見逃す可能性がある。Googleは、重要な時間窓だけを必要に応じて高いフレームレートで再サンプリングし、無関係な映像を一律に処理しないことで、このトレードオフを改善するとしている。

Googleが挙げる用途からも、この機能が単なる料金削減ではないことが分かる。サブ秒単位の瞬間検索は、細かなカットや高速な状態変化を見つけられ、自動編集やスポーツ分析に役立つ。長時間動画での針探し検索は、何百万トークンも消費せずに複数時間の録画から答えを見つける。異常検知では、興味深い時間帯を高密度に見直して動きや視覚的な乱れを確認できる。動作や物体のカウントも、短い区間を異なるフレームレートで見直すことで改善し得る。

この発表は、マルチモーダルAIの方向性も示している。初期の動画理解は、圧縮された映像表現をモデルへ渡し、重要な情報が残っていることを期待する方法に近かった。エージェント型動画では、モデルがより能動的に、次にどこを見るべきかを判断する分析者に近づく。品質と効率の両方を改善できる可能性がある一方、結果はモデルの探索戦略にも左右されるため評価は複雑になる。動画AIを作るチームにとって、Googleの新機能は静的な取り込みを減らし、モデル主導の検査を試す選択肢になる。