Databricks、マネージドGPU訓練向けAI Runtimeの一般提供を説明

Databricksは10月21日、AI Runtimeの一般提供に関する発表を公開した。同社のプラットフォーム上にすでに保存されている企業データに、マネージドGPU訓練を近づける。チームが独自のモデル訓練や微調整のコードを実行する一方、サービスはGPUの確保、クラスターの保守、ネットワークを担う。計算環境をノートブック、コマンドラインツール、既存のデータガバナンスにつなぎ、訓練チームが別途運用する基盤を減らす。

展開の予定は、発表日より細かく定められている。Databricksの公開スケジュールは、コンプライアンスセキュリティプロファイルを有効にしていないAWSとAzureのワークスペースについて、一般提供日を10月15日としている。同プロファイルを利用する対象ワークスペースでは、対応する基準と地域を条件に、11月中旬の既定利用を予定する。10月21日の記事は段階的な展開中に製品を紹介したもので、利用可否は引き続きワークスペースと地域の条件による。

同時に公開されたNVIDIAとの発表は、複数ノードの分散訓練、NVIDIA NeMo、GPU向けに最適化したソフトウェアコンテナーへの対応を説明する。GPU間の通信はNCCLが担い、Databricksは基盤を管理する。開発者は独自の訓練ループや使い慣れたフレームワークを維持できる。マネージド環境にはCUDAを含む最小構成のStandardと、PyTorchやTransformersを備えたAI環境があり、異なる依存関係の要件に対応する。

カスタムDockerイメージには、別の提供条件がある。現在の文書はベータと明記し、管理者がAI Runtime Beta FeaturesとDatabricks Artifact Registryの両プレビューを有効にすることを求める。イメージは、処理を送信するワークスペースと同じワークスペースのレジストリーに保存し、プッシュと読み取りの権限も必要だ。この方法はマネージド環境の選択肢と並び、組織が承認したソフトウェア環境やシステム依存関係を扱える。

Databricksは、ウォーム状態のサーバーレスGPUプールと遅延イメージ読み込みにより、RDMA対応クラスターを含め秒単位で起動できると説明する。実行開始後も、残りのイメージデータの取得を続ける仕組みだ。一方、環境文書は対話型ノートブックのキャッシュをより限定的に定義する。ノートブックを開き直す際はインストール済みパッケージを再利用できるが、コマンドライン処理と定期ジョブはそのキャッシュを使わず、依存パッケージを毎回新たに入れる。起動速度の説明と依存関係のキャッシュは、実行の異なる部分に関わる。

Rayへの対応は、既存のPython処理を動かす別の手段となる。文書にあるRay Core、Data、Train、Tuneは、分散タスク、データ処理、訓練、パラメーター探索を扱う。ノートブックは接続先の単一ノードでRayを起動し、コマンドラインでは一つ以上のノードからなる固定クラスターを利用できる。処理中のノード数は固定され、Rayクラスターの自動スケーリングには対応しない。

可観測性はMLflowを通じて統合する。10月15日の更新で再設計されたLogsタブでは、ノード、重大度、時間範囲による出力の検索や絞り込み、実行中の処理の追跡、ログのダウンロードができ、保存期間は60日となる。Genie Codeは訓練ログを調べ、モデルコードのエラー、メモリー問題、通信オーバーヘッドの調査を助ける。Lakeflow Jobsは訓練とデータ準備、評価を編成し、Declarative Automation Bundlesはその処理の再現可能な展開を支える。

データアクセスの統制について、DatabricksはUnity Catalogが訓練データ、チェックポイント、ログに読み書き権限を適用すると述べる。基盤は仮想マシン単位の処理分離を採用し、PrivateLinkとサーバーレスの外向きネットワーク制御に対応する。これらはワークスペースのアクセス方針やネットワーク設定とともに機能する。使用量と費用の記録もDatabricksのシステムテーブルで提供し、個々の訓練処理をプラットフォーム上の他の活動と合わせて計上できる。