Google DeepMind prueba evaluaciones de IA doble ciego para proteger benchmarks y pesos

Google DeepMind presentó un piloto de evaluación doble ciego para modelos avanzados de IA con el objetivo de resolver uno de los problemas de confianza más difíciles en la IA de frontera: cómo probar sistemas propietarios con rigor sin exponer benchmarks confidenciales ni pesos privados del modelo. La compañía publicó la actualización el 27 de agosto de 2026, y William Isaac, Sol Messing y Kristian Lum la describieron como la primera evaluación doble ciego de un modelo propietario de clase frontera.

El problema es la contaminación de benchmarks. Si el proveedor del modelo ve las preguntas, prompts o tareas exactas usadas por un evaluador externo, futuros modelos pueden ajustarse a esas pruebas, de forma intencional o accidental. Si el evaluador recibe los pesos del modelo, el proveedor arriesga propiedad intelectual valiosa. Históricamente, las evaluaciones externas de alto riesgo han tenido que elegir entre esos peligros. El piloto de DeepMind intenta eliminar esa compensación mediante un entorno protegido criptográficamente.

El proyecto involucra a Google DeepMind, el Singapore AI Safety Institute, OpenMined, AVERI y MLCommons. El grupo está probando un modelo Gemini Flash Lite contra benchmarks confidenciales dentro de un entorno que preserva la privacidad. DeepMind dice que usa Confidential Space dentro de Google Cloud Confidential Computing para verificar que los datos de evaluación sigan siendo privados para el evaluador y que el modelo propietario siga siendo privado para Google. Ambas partes verifican la ejecución sin tomar posesión del material sensible de la otra.

Esto importa porque la evaluación de modelos de frontera tiene cada vez más consecuencias. Gobiernos, empresas, investigadores independientes e institutos de seguridad dependen más de pruebas externas para decidir si los modelos son adecuados para despliegues sensibles. Las evaluaciones de ciberseguridad son un ejemplo claro. El rendimiento en un benchmark confidencial puede influir en políticas, compras y decisiones de lanzamiento. Si la evaluación puede contaminarse antes de la prueba, su valor se reduce.

La propuesta también refleja un cambio desde la confianza contractual hacia la confianza técnica. Los compromisos de cero registros y las salvaguardas legales siguen siendo importantes, pero no responden por completo quién puede ver qué dentro de una evaluación de alto riesgo. El aislamiento criptográfico aporta una pista de auditoría más fuerte. Puede demostrar que el modelo fue probado con prompts confidenciales evitando que esos prompts terminen como material de entrenamiento o ajuste.

La infraestructura doble ciego no sustituye el diseño cuidadoso de benchmarks. No convierte una prueba débil en una prueba sólida ni resuelve por sí sola qué capacidades o riesgos deben medirse. Su valor es más específico: preservar la integridad de las pruebas una vez diseñadas. Si más laboratorios e institutos adoptan métodos similares, los benchmarks confidenciales podrían conservar utilidad por más tiempo y la evaluación independiente dependería menos de relaciones privadas de confianza.

El piloto llega cuando los laboratorios de IA enfrentan presión para demostrar evaluación previa al despliegue sin pedir al público que dependa solo de afirmaciones internas. Al proteger pesos y prompts, DeepMind propone un mecanismo práctico para supervisión externa en un mercado donde los sistemas más importantes suelen ser cerrados. La prueba inmediata es si funciona con evaluadores reales y modelos propietarios; la pregunta mayor es si se vuelve estándar de gobernanza de IA de frontera.