Databricks 公布 AI Runtime 正式可用进展，提供托管 GPU 模型训练

Databricks 于10月21日发布 AI Runtime 正式可用公告，让托管 GPU 训练更贴近企业已经存放在其平台上的数据。服务负责 GPU 资源配置、集群维护和网络管理，团队则运行自己的模型训练与微调代码。它将这些计算能力与笔记本、命令行工具和已有数据治理连接起来，减少训练团队需要单独运营的基础设施。

具体开放时间表比公告日期更为细致。Databricks 公布的计划，将未启用合规安全配置文件的 AWS 和 Azure 工作区正式可用日期列为10月15日。启用这一配置文件且符合条件的工作区，计划在11月中旬默认开放，取决于支持的合规标准和区域。10月21日文章是在这一分阶段开放过程中介绍产品，访问资格仍由工作区及所在区域的条件决定。

同期英伟达合作公告介绍了多节点分布式训练、NVIDIA NeMo 以及 GPU 优化软件容器支持。NCCL 负责 GPU 之间的通信，Databricks 管理底层基础设施。开发者可以保留自定义训练循环和熟悉的框架。托管环境则提供两类选择：包含 CUDA 的精简 Standard 环境，以及预装 PyTorch、Transformers 的完整 AI 环境，以适应不同的软件依赖需求。

自定义 Docker 镜像另有发布条件。当前文档将其标为 Beta，要求管理员同时启用 AI Runtime Beta Features 和 Databricks Artifact Registry 预览。镜像必须存放在提交任务的同一工作区内的注册表中，并具备推送和读取所需的权限。这条路径与托管环境选项并行，能够支持机构批准的软件环境及系统依赖。

Databricks 表示，借助预热的无服务器 GPU 资源池和惰性镜像加载，包括启用 RDMA 的集群也能实现秒级启动；代码开始执行后，系统还会继续获取镜像数据。环境文档对交互式笔记本另有更具体的缓存说明：重新打开笔记本可以复用已安装的软件包。命令行负载和定时作业不使用这种笔记本缓存，每次都重新安装依赖。因此，启动速度说明与依赖缓存行为，涉及执行流程的不同部分。

Ray 支持为运行既有 Python 负载提供了另一条路径。文档列出 Ray Core、Data、Train 和 Tune，覆盖分布式任务、数据处理、训练和参数搜索。笔记本在连接的单个节点上启动 Ray，命令行接口则可以运行由一个或多个节点组成的固定集群。任务执行期间节点数量保持固定，不支持 Ray 集群自动伸缩。

可观测性通过 MLflow 集成。10月15日的更新重新设计了 Logs 标签页，可按节点、严重级别和时间范围搜索或过滤输出，持续跟踪运行中的负载，并下载日志，保留期为60天。Genie Code 能检查训练日志，协助调查模型代码错误、内存问题和通信开销。Lakeflow Jobs 可以编排训练、数据准备与评估，Declarative Automation Bundles 则支持这些流程的可重复部署。

在受治理的数据访问方面，Databricks 表示 Unity Catalog 对训练数据、检查点和日志施加读取与写入权限。基础设施采用虚拟机级别的工作负载隔离，并支持 PrivateLink 和无服务器出站网络控制。这些能力与工作区的访问策略、网络配置共同发挥作用。Databricks 系统表还提供使用量与成本记录，使单个训练任务能够与平台上的其他活动一起核算。