Google bringt agentisches Videoverständnis in Gemini-Modelle

Google startete am 1. September agentisches Videoverständnis für Gemini und fügte Gemini 3.7 Flash, Gemini 3.6 Flash und Gemini 3.5 Flash-Lite einen neuen Analysemodus hinzu. Nach Angaben des Unternehmens kann die Funktion den Tokenverbrauch in Standard-Benchmarks für Videoanalyse um bis zu 88 Prozent senken, Kosten um bis zu 66 Prozent reduzieren und die Qualität um bis zu 7 Prozent verbessern. Sie ist für Video-Uploads und YouTube-Videos über die Gemini API in Google AI Studio und auf der Gemini Enterprise Agent Platform verfügbar.

Die Funktion verändert, wie ein Modell Video verarbeitet. Herkömmliche statische Verarbeitung liest Video mit einer festen Bildrate ein, häufig standardmäßig ein Frame pro Sekunde, wobei Entwickler die Rate per API anpassen können. Das ist einfach, aber bei langen Videos oder Aufgaben, in denen wichtige Informationen nur kurz erscheinen, ineffizient. Agentisches Videoverständnis lässt Gemini zielgerichteter vorgehen: Das Modell kann relevante Abschnitte über Bildframes, Audio und Transkripte hinweg dynamisch suchen, scannen und untersuchen und nur die Momente und Signale abrufen, die für die Antwort nötig sind.

Google vergleicht den Ansatz mit agentischer Vision, die Codeausführung mit Geminis nativem Bildverständnis kombiniert. Bei Video erlaubt dieselbe Schleife dem Modell zu entscheiden, was es ansieht, in welcher Geschwindigkeit und über welche Modalität. Sucht es einen bestimmten Moment in einer 90-minütigen Vorlesung, muss es nicht jede Sekunde gleich tief verarbeiten. Es kann das Transkript nutzen, den Zeitraum eingrenzen, Frames um die relevante Stelle prüfen, bei Bedarf Audio hören und dann eine Antwort auf Basis ausgewählter Evidenz liefern. Für Entwickler soll das Arbeit ersparen, die bisher manuell in Retrieval- und Vorverarbeitungspipelines gebaut werden musste.

Die Effizienzangaben sind besonders für Langform-Video wichtig. Entwickler von Bildungstools, Medienarchiven, Sicherheitsanalysen oder Meeting-Review-Produkten stehen oft vor einem Trade-off zwischen Genauigkeit und Kosten. Höhere Frame-Sampling-Raten erfassen mehr Details, verbrauchen aber schnell Tokens und erhöhen Rechnungen. Niedrigere Raten sparen Kosten, können jedoch schnelle Bewegungen, subtile Anomalien oder genaue Szenengrenzen verpassen. Google sagt, agentisches Videoverständnis verbessere diesen Trade-off, indem es wichtige Zeitfenster bei Bedarf mit höherer Bildrate erneut sampelt und irrelevantes Material nicht pauschal verarbeitet.

Die genannten Anwendungsfälle zeigen, dass es nicht nur um Abrechnung geht. Subsekunden-Momentabruf kann enge Schnitte oder schnelle Zustandswechsel erkennen, was für automatischen Videoschnitt und Sportanalyse wichtig ist. Needle-in-a-haystack-Suche kann Fragen über mehrstündige Aufnahmen beantworten, ohne Millionen Tokens zu verbrauchen. Anomalieerkennung kann interessante Zeitfenster fokussieren und Bewegung oder visuelle Artefakte genauer prüfen. Auch das Zählen von Aktionen und Objekten kann besser werden, wenn das Modell kurze Abschnitte mit unterschiedlichen Bildraten erneut betrachtet statt sich auf spärliche Stichproben zu verlassen.

Der Start zeigt zudem die Richtung multimodaler KI-Produkte. Frühes Videoverständnis bedeutete oft, eine komprimierte Darstellung des Materials an das Modell zu geben und darauf zu hoffen, dass relevante Details erhalten bleiben. Agentisches Video macht das Modell aktiver, näher an einem Analysten, der entscheidet, wo er als Nächstes hinsieht. Das kann Qualität und Effizienz verbessern, macht Evaluation aber komplexer, weil Ergebnisse von der Suchstrategie des Modells abhängen. Für Teams, die Video-KI bauen, ist die praktische Frage, ob Einsparungen und Genauigkeitsgewinne bei eigenen Inhalten stabil bleiben. Google bietet ihnen nun eine neue Option: weniger statische Aufnahme, mehr modellgesteuerte Inspektion.