NVIDIA, 업계 기업들과 오픈 시큐어 AI 얼라이언스 출범

NVIDIA와 여러 기술 기업이 Open Secure AI Alliance를 출범시켰다. 인프라 사업자, 사이버보안 업체, 기업용 소프트웨어 회사, 오픈소스 조직이 참여해 AI 시스템과 주변 소프트웨어를 보호할 기술을 함께 개발하고 공유한다. 각 회사가 서로 호환되지 않는 통제 체계를 따로 만드는 대신, 개발자가 보안 도구를 확인하고 환경에 맞게 바꿔 사용할 수 있도록 하는 것이 목표다.

AI의 공격 표면은 모델 자체를 넘어섰다. 학습 데이터, 모델 서비스 엔드포인트, 플러그인, 의존 패키지, 기업 정보에 접근하는 애플리케이션이 모두 진입점이 될 수 있다. 에이전트는 문서를 읽고 API를 호출하며 자격 증명을 사용하고, 사람이 결과를 보기 전에 여러 결정을 연속으로 내린다. 기존 애플리케이션 보안은 필요하지만 에이전트가 어떤 행동을 허용받았고 그 과정을 어떻게 추적할지까지 해결하지는 못한다.

얼라이언스는 리눅스 재단과 오픈소스 보안 커뮤니티의 작업을 토대로 취약점 공개, 수정, 평가를 추진할 계획이다. NVIDIA는 모델, 가중치, 데이터, 에이전트 하네스 연구를 제공한다. NVIDIA Labs의 초기 프로젝트는 에이전트 행동을 시험하고 추적하며 감사하고 관리하기 쉽게 만드는 것을 목표로 한다. 참여 기업들은 신원 표준, 안전한 모델 가중치 형식, 서명된 패치, 다중 모델 스캐닝 기술도 공유한다.

공개형 접근은 민감한 데이터를 외부 서비스로 보내지 않고 자체 환경에서 보안 통제를 실행하려는 조직에 중요하다. 기존 모니터링 시스템에 연결할 수 있다는 점도 장점이다. 다만 소스가 공개됐다고 유지보수 문제가 사라지지는 않는다. 프로젝트에는 장기 관리 주체, 자금, 배포 절차, 취약점 발생 시 책임과 복구 과정이 필요하다.

AI를 도입하는 기업은 모델, 소프트웨어, 외부 행동을 결합한 시스템을 평가할 공통 언어를 얻을 수 있다. 점검 대상은 모델 가중치에 국한되지 않고 신원, 권한, 격리, 도구, 로그, 평가를 포함한 에이전트 전체여야 한다. 모델을 보호하면서 자격 증명이나 오래된 의존 패키지를 방치하면 실제 사고에서는 큰 빈틈이 남는다.

이번 발표는 완성된 보안 제품보다 공유 방어 인프라를 만들기 위한 출발점에 가깝다. 영향력은 특정 공급업체 밖에서도 작동하는 코드와 테스트 방법을 공개하고, 초기 관심이 줄어든 뒤에도 이를 유지할 수 있는지에 달려 있다. 실제 사고에서 방어팀이 도구를 실행하고 다른 모델과 클라우드 환경에서도 결과를 재사용할 수 있을지가 다음 시험대다.

얼라이언스가 출범한 배경에는 실제 보안 사건도 있다. 허깅페이스 조사에서 폐쇄형 도구가 공격자와 방어자를 구분하지 못하자, 오픈 웨이트 GLM 5.2 모델을 자체 인프라에서 실행해 1만7000건이 넘는 작업을 분석하고 침입을 통제했다. NVIDIA는 방어팀이 자체 환경에서 최첨단 에이전트를 점검하고 조정하며 실행할 수 있어야 한다는 점을 보여준 사례라고 설명했다. 동시에 오픈 모델도 악용될 수 있으므로 엄격한 평가, 악의적 사용을 막는 규칙, 신속한 수정이 함께 필요하다고 강조했다.