Databricks, 관리형 GPU 모델 훈련 위한 AI Runtime 정식 제공 설명

Databricks는 10월 21일 AI Runtime 정식 제공 발표를 공개하며 관리형 GPU 훈련을 자사 플랫폼에 이미 저장된 기업 데이터에 더 가깝게 연결했다. 팀이 자체 모델 훈련 및 미세 조정 코드를 실행하는 동안 서비스는 GPU 프로비저닝, 클러스터 유지보수, 네트워킹을 맡는다. 이런 연산을 노트북, 명령줄 도구, 기존 데이터 거버넌스와 연결해 훈련 팀이 별도로 운영해야 하는 인프라를 줄인다.

제공 일정은 발표 날짜보다 구체적으로 나뉜다. Databricks가 공개한 일정은 규정 준수 보안 프로필을 활성화하지 않은 AWS와 Azure 워크스페이스의 정식 제공 날짜를 10월 15일로 명시한다. 해당 프로필을 사용하는 적격 워크스페이스는 지원 표준과 지역에 따라 11월 중순 기본 제공될 예정이다. 10월 21일 게시물은 이런 단계적 제공 과정에서 서비스를 소개하며, 접근 가능 여부는 여전히 워크스페이스와 지역 조건에 따라 결정된다.

동시에 발표된 엔비디아 협력 자료는 다중 노드 분산 훈련, NVIDIA NeMo, GPU 최적화 소프트웨어 컨테이너 지원을 설명한다. GPU 간 통신은 NCCL이 맡고 Databricks는 기반 인프라를 관리한다. 개발자는 맞춤형 훈련 루프와 익숙한 프레임워크를 유지할 수 있다. 관리형 환경은 CUDA를 포함한 최소 구성 Standard와 PyTorch 및 Transformers가 설치된 AI 환경을 제공해 서로 다른 의존성 요구를 수용한다.

맞춤형 Docker 이미지에는 별도의 제공 조건이 있다. 현재 문서는 이를 베타로 표시하며, 관리자가 AI Runtime Beta Features와 Databricks Artifact Registry 미리 보기를 모두 활성화하도록 요구한다. 이미지는 작업을 제출하는 워크스페이스와 같은 워크스페이스의 레지스트리에 저장해야 하며 푸시와 읽기에 필요한 권한도 있어야 한다. 이 경로는 관리형 환경 선택지와 함께 조직이 승인한 소프트웨어 환경 및 시스템 의존성을 지원한다.

Databricks는 준비된 서버리스 GPU 풀과 지연 이미지 로딩을 활용해 RDMA 지원 클러스터를 포함한 작업을 초 단위로 시작할 수 있다고 밝혔다. 실행이 시작된 뒤에도 이미지 데이터를 계속 가져오는 방식이다. 환경 문서는 대화형 노트북의 캐시 동작을 더 좁게 정의한다. 노트북을 다시 열면 설치한 패키지를 재사용할 수 있지만, 명령줄 작업과 예약 작업은 이 노트북 캐시를 쓰지 않고 매번 의존성을 새로 설치한다. 따라서 시작 속도 설명과 의존성 캐시는 실행 과정의 서로 다른 부분을 다룬다.

Ray 지원은 기존 Python 작업을 실행할 수 있는 또 다른 방법이다. 문서에 나열된 Ray Core, Data, Train, Tune은 분산 작업, 데이터 처리, 훈련, 매개변수 탐색을 포괄한다. 노트북은 연결된 단일 노드에서 Ray를 시작하며, 명령줄 인터페이스는 하나 이상의 노드로 구성된 고정 클러스터를 실행할 수 있다. 작업 중 노드 수는 고정되며 Ray 클러스터 자동 확장은 지원하지 않는다.

관측 기능은 MLflow를 통해 통합된다. 10월 15일 업데이트로 재설계된 Logs 탭은 노드, 심각도, 시간 범위별 출력 검색과 필터링, 실행 중인 작업 추적, 로그 다운로드를 지원하며 보존 기간은 60일이다. Genie Code는 훈련 로그를 살피고 모델 코드 오류, 메모리 문제, 통신 오버헤드 조사를 도울 수 있다. Lakeflow Jobs는 훈련과 데이터 준비, 평가를 편성하고, Declarative Automation Bundles는 이 작업 흐름을 반복 가능하게 배포하도록 지원한다.

데이터 접근 거버넌스 측면에서 Databricks는 Unity Catalog가 훈련 데이터, 체크포인트, 로그에 읽기 및 쓰기 권한을 적용한다고 설명한다. 인프라는 가상 머신 수준의 작업 격리를 사용하고 PrivateLink와 서버리스 아웃바운드 네트워크 제어를 지원한다. 이 기능은 워크스페이스의 접근 정책 및 네트워크 설정과 함께 작동한다. Databricks 시스템 테이블은 사용량과 비용 기록도 제공해 개별 훈련 작업을 다른 플랫폼 활동과 함께 집계할 수 있도록 한다.