Google DeepMind testa avaliações de IA duplo-cego para proteger benchmarks e pesos

A Google DeepMind apresentou um piloto de avaliação duplo-cego para modelos avançados de IA, tentando resolver um dos problemas de confiança mais difíceis na IA de fronteira: como testar sistemas proprietários com rigor sem expor benchmarks confidenciais nem pesos privados do modelo. A empresa publicou a atualização em 27 de agosto de 2026, com William Isaac, Sol Messing e Kristian Lum descrevendo a abordagem como a primeira avaliação duplo-cego de um modelo proprietário de classe fronteira.

O problema é a contaminação de benchmarks. Se o provedor do modelo vê as perguntas, prompts ou tarefas exatas usadas em uma avaliação externa, modelos futuros podem ser ajustados para esses testes, intencionalmente ou não. Se o avaliador recebe os pesos do modelo, o provedor arrisca propriedade intelectual valiosa. Historicamente, avaliações externas de alto risco precisaram escolher entre esses riscos. O piloto da DeepMind tenta remover essa troca por meio de um ambiente protegido criptograficamente.

O projeto envolve Google DeepMind, Singapore AI Safety Institute, OpenMined, AVERI e MLCommons. O grupo está testando um modelo Gemini Flash Lite contra benchmarks confidenciais em um ambiente que preserva privacidade. A DeepMind afirma usar Confidential Space dentro do portfólio Confidential Computing do Google Cloud para verificar que os dados externos permanecem privados para o avaliador enquanto o modelo proprietário permanece privado para o Google. Assim, as duas partes validam a execução sem tomar posse dos materiais sensíveis uma da outra.

Isso importa porque avaliações de modelos de fronteira têm consequências crescentes. Governos, empresas, pesquisadores independentes e institutos de segurança usam testes externos para decidir se modelos são seguros o bastante para usos sensíveis. Avaliações de cibersegurança são um exemplo claro. O desempenho em um benchmark confidencial pode influenciar política, compras e decisões de lançamento. Se a avaliação é contaminada antes do teste, seu valor cai.

A proposta também mostra uma mudança de confiança contratual para confiança técnica. Compromissos de zero logging e salvaguardas legais continuam relevantes, mas não respondem totalmente quem pode ver o quê dentro de uma avaliação de alto risco. O isolamento criptográfico oferece uma trilha de auditoria mais forte. Ele pode demonstrar que o modelo foi testado com prompts confidenciais e impedir que esses prompts virem material de treinamento ou ajuste para a próxima geração.

A infraestrutura duplo-cego não substitui bom desenho de benchmark. Ela não transforma teste fraco em teste forte nem resolve sozinha quais capacidades ou riscos devem ser medidos. Seu valor é mais específico: preservar a integridade dos testes depois que avaliadores os projetam. Se mais laboratórios e órgãos de segurança adotarem métodos parecidos, benchmarks confidenciais poderão continuar úteis por mais tempo e avaliações independentes dependerão menos de relações privadas de confiança.

O piloto surge em um momento em que laboratórios de IA precisam provar que modelos de fronteira são avaliados antes da implantação sem pedir ao público que confie apenas em declarações internas. Ao proteger pesos e prompts, a DeepMind propõe um mecanismo prático para supervisão externa em um mercado onde os sistemas mais importantes costumam ser fechados. A questão imediata é se o piloto funciona com avaliadores reais e modelos proprietários; a maior é se a avaliação duplo-cego vira padrão de governança.