Google DeepMind testet Double-Blind-KI-Evaluierungen für Benchmarks und Modellgewichte

Google DeepMind hat einen Double-Blind-Piloten für fortgeschrittene KI-Modelle vorgestellt. Er soll eines der schwierigsten Vertrauensprobleme bei Frontier-KI lösen: Wie lassen sich proprietäre Systeme streng testen, ohne vertrauliche Benchmarks oder private Modellgewichte offenzulegen? Das Unternehmen veröffentlichte die Aktualisierung am 27. August 2026. William Isaac, Sol Messing und Kristian Lum beschreiben den Ansatz als erste Double-Blind-Evaluierung eines proprietären Frontier-KI-Modells.

Das Problem heißt Benchmark-Kontamination. Wenn ein Modellanbieter die genauen Fragen, Prompts oder Aufgaben einer externen Evaluierung sieht, können spätere Modelle absichtlich oder unbeabsichtigt darauf optimiert werden. Wenn ein Evaluator die Modellgewichte erhält, riskiert der Anbieter wertvolles geistiges Eigentum. Externe Hochrisiko-Evaluierungen mussten bisher zwischen diesen Risiken wählen. DeepMinds Pilot versucht, diesen Kompromiss durch eine kryptografisch geschützte Umgebung zu beseitigen.

Beteiligt sind Google DeepMind, das Singapore AI Safety Institute, OpenMined, AVERI und MLCommons. Die Gruppe testet ein Gemini-Flash-Lite-Modell gegen vertrauliche Benchmarks in einer datenschutzwahrenden Umgebung. DeepMind nutzt nach eigenen Angaben Confidential Space aus Google Clouds Confidential-Computing-Portfolio, um nachzuweisen, dass externe Evaluierungsdaten beim Evaluator privat bleiben und das proprietäre Modell bei Google geschützt bleibt. Beide Seiten können die Ausführung überprüfen, ohne sensible Materialien der anderen Seite zu übernehmen.

Das ist wichtig, weil Frontier-Modellbewertungen immer folgenreicher werden. Regierungen, Unternehmen, unabhängige Forscher und Sicherheitsinstitute stützen sich stärker auf externe Tests, um die Eignung für sensible Einsätze zu beurteilen. Cybersecurity-Evaluierungen sind ein klares Beispiel. Die Leistung auf einem vertraulichen Cyber-Benchmark kann Politik, Beschaffung und Release-Entscheidungen beeinflussen. Wenn der Test vorab kontaminiert wird, verliert das Ergebnis an Wert.

Der Vorschlag zeigt auch den Wechsel von vertraglichem Vertrauen zu technischem Vertrauen. Zero-Logging-Zusagen und rechtliche Schutzmaßnahmen bleiben wichtig, beantworten aber nicht vollständig, wer in einer Hochrisiko-Evaluierung was sehen kann. Kryptografische Isolation liefert eine stärkere Audit-Spur. Sie kann zeigen, dass ein Modell mit vertraulichen Prompts getestet wurde, ohne dass diese Prompts später als Trainings- oder Tuningmaterial genutzt werden.

Die Infrastruktur ersetzt kein gutes Benchmark-Design. Sie macht schwache Tests nicht stark und entscheidet nicht, welche Fähigkeiten oder Risiken relevant sind. Ihr Wert ist enger, aber wesentlich: Sie bewahrt die Integrität von Tests, sobald Evaluatoren sie entworfen haben. Wenn mehr Labore und Sicherheitsstellen ähnliche Methoden einsetzen, könnten vertrauliche Benchmarks länger nützlich bleiben und unabhängige Evaluierung weniger von privaten Vertrauensbeziehungen abhängen.

Der Pilot kommt zu einer Zeit, in der KI-Labore zeigen müssen, dass Frontier-Modelle vor der Bereitstellung extern geprüft werden. Indem Modellgewichte und Evaluierungs-Prompts geschützt werden, schlägt DeepMind einen praktischen Mechanismus für externe Aufsicht in einem Markt meist geschlossener Systeme vor. Entscheidend ist nun, ob der Pilot mit realen Evaluatoren und proprietären Modellen zuverlässig funktioniert und ob Double-Blind-Evaluierung zum Standard der Frontier-KI-Governance wird.