Google DeepMind, 벤치마크와 모델 가중치를 보호하는 이중눈가림 AI 평가 시범

Google DeepMind가 고급 AI 모델을 위한 이중눈가림 평가 파일럿을 공개했다. 목표는 프런티어 AI에서 가장 어려운 신뢰 문제 중 하나를 해결하는 것이다. 독점 시스템을 엄격하게 시험하면서도 기밀 벤치마크와 비공개 모델 가중치를 어떻게 보호할 수 있는가라는 문제다. 회사는 2026년 8월 27일 이 내용을 발표했고, William Isaac, Sol Messing, Kristian Lum은 이를 독점 프런티어급 AI 모델에 대한 첫 이중눈가림 평가라고 설명했다.

문제의 핵심은 벤치마크 오염이다. 모델 제공자가 외부 평가에 쓰이는 정확한 질문, 프롬프트, 과제를 미리 보면 향후 모델이 의도했든 아니든 그 시험에 맞게 조정될 수 있다. 반대로 평가자가 모델 가중치를 받으면 제공자는 지식재산 노출 위험을 떠안는다. 기존의 고위험 외부 평가는 두 위험 중 하나를 받아들여야 했다. DeepMind의 시범은 암호적으로 보호된 환경을 사용해 이 절충을 없애려 한다.

이 파일럿에는 Google DeepMind, Singapore AI Safety Institute, OpenMined, AVERI, MLCommons가 참여한다. 이들은 개인정보 보호 환경에서 Gemini Flash Lite 모델을 기밀 벤치마크로 테스트한다. DeepMind는 Google Cloud Confidential Computing 포트폴리오의 Confidential Space를 사용해 외부 평가 데이터는 평가자에게, 독점 모델은 Google에 비공개로 남아 있음을 검증한다고 밝혔다. 양측은 실행 방식을 확인하지만 서로의 민감한 자료를 가져가지 않는다.

이 접근이 중요한 이유는 프런티어 모델 평가가 점점 더 큰 결정을 좌우하기 때문이다. 정부, 기업, 독립 연구자, 안전 기관은 민감한 배포에 모델을 사용할 수 있는지 판단하기 위해 외부 시험에 의존한다. 사이버보안 평가는 대표적 사례다. 모델이 기밀 사이버 벤치마크에서 강하거나 약하게 나온 결과는 정책, 조달, 출시 결정에 영향을 줄 수 있다. 평가가 사전에 오염되면 결과의 신뢰성은 크게 떨어진다.

DeepMind의 제안은 계약적 신뢰에서 기술적 신뢰로 이동하는 흐름도 보여준다. 무로그 약속과 법적 계약은 여전히 필요하지만 고위험 평가 내부에서 누가 무엇을 볼 수 있는지 완전히 설명하지는 못한다. 암호적 격리는 모델이 기밀 프롬프트로 시험됐다는 증거를 제공하면서, 그 프롬프트가 다음 세대 모델의 학습이나 튜닝 자료가 되는 것을 막을 수 있다.

이 시스템이 좋은 벤치마크 설계를 대체하는 것은 아니다. 이중눈가림 인프라는 약한 시험을 강하게 만들 수 없고, 어떤 능력과 위험을 측정해야 하는지도 결정하지 않는다. 가치는 더 좁지만 중요하다. 평가자가 설계한 시험의 무결성을 보존하는 것이다. 더 많은 연구소와 안전 기관이 비슷한 방식을 채택하면 기밀 벤치마크는 더 오래 유효성을 유지할 수 있고 독립 평가는 사적 신뢰 관계에 덜 의존하게 된다.

AI 연구소들은 배포 전 평가를 내부 주장만으로 설명하지 말라는 압박을 받고 있다. 모델 가중치와 평가 프롬프트를 동시에 보호하는 이 방식은 폐쇄형 최첨단 시스템에 대한 외부 감독의 실용적 경로를 제시한다. 당장의 과제는 실제 평가자와 독점 모델에서 안정적으로 작동하는지다. 더 큰 질문은 이중눈가림 평가가 프런티어 AI 거버넌스의 표준 절차가 될 수 있는지다.