Google DeepMind teste des évaluations IA en double aveugle pour protéger benchmarks et poids

Google DeepMind a présenté un pilote d’évaluation en double aveugle pour les modèles d’IA avancés, afin de résoudre l’un des problèmes de confiance les plus difficiles de l’IA de frontière: comment tester rigoureusement des systèmes propriétaires sans exposer ni benchmarks confidentiels ni poids privés du modèle. L’entreprise a publié cette annonce le 27 août 2026. William Isaac, Sol Messing et Kristian Lum décrivent l’approche comme la première évaluation en double aveugle d’un modèle propriétaire de classe frontière.

Le problème est la contamination des benchmarks. Si le fournisseur du modèle voit les questions, prompts ou tâches exacts d’une évaluation externe, les modèles futurs peuvent être optimisés autour de ces tests, volontairement ou non. Si l’évaluateur reçoit les poids du modèle, le fournisseur risque d’exposer sa propriété intellectuelle. Les évaluations externes à fort enjeu devaient historiquement choisir entre ces risques. Le pilote de DeepMind tente de supprimer ce compromis grâce à un environnement protégé par cryptographie.

Le projet réunit Google DeepMind, le Singapore AI Safety Institute, OpenMined, AVERI et MLCommons. Le groupe teste un modèle Gemini Flash Lite sur des benchmarks confidentiels dans un environnement préservant la confidentialité. DeepMind indique utiliser Confidential Space, dans le portefeuille Confidential Computing de Google Cloud, pour vérifier que les données d’évaluation restent privées pour l’évaluateur et que le modèle propriétaire reste privé pour Google. Chaque partie vérifie l’exécution sans posséder les données sensibles de l’autre.

Cette approche compte parce que les évaluations de modèles de frontière deviennent plus décisives. Gouvernements, entreprises, chercheurs indépendants et instituts de sécurité s’appuient davantage sur des tests externes pour juger si les modèles conviennent à des usages sensibles. Les évaluations de cybersécurité en sont un exemple clair. Une performance forte ou faible sur un benchmark confidentiel peut influencer politique publique, achats et décisions de lancement. Si l’évaluation est contaminée avant le test, son résultat perd de sa valeur.

La proposition illustre aussi le passage d’une confiance contractuelle à une confiance technique. Les promesses de non-journalisation et les garanties juridiques restent utiles, mais elles ne répondent pas totalement à la question de qui peut voir quoi dans une évaluation sensible. L’isolation cryptographique apporte une piste d’audit plus solide. Elle peut montrer qu’un modèle a été testé sur des prompts confidentiels sans que ces prompts deviennent du matériau d’entraînement ou d’ajustement.

Cette infrastructure ne remplace pas une bonne conception de benchmark. Elle ne rend pas un test faible robuste et ne tranche pas quels risques ou capacités doivent être mesurés. Sa valeur est plus précise: préserver l’intégrité des tests une fois conçus. Si davantage de laboratoires et d’instituts adoptent des méthodes similaires, les benchmarks confidentiels pourraient rester utiles plus longtemps et l’évaluation indépendante dépendrait moins de relations privées de confiance.

Le pilote arrive alors que les laboratoires d’IA doivent prouver que les modèles de frontière sont évalués avant déploiement sans demander au public de croire seulement leurs affirmations internes. En protégeant à la fois poids et prompts, DeepMind propose un mécanisme concret de supervision externe dans un marché où les systèmes importants sont souvent fermés. La question immédiate est sa fiabilité avec de vrais évaluateurs; la plus large est son adoption comme standard de gouvernance.