Databricks detalla la disponibilidad general de AI Runtime para entrenar modelos con GPU

Databricks publicó el 21 de octubre su anuncio de disponibilidad general de AI Runtime, acercando el entrenamiento gestionado con GPU a los datos empresariales que ya están en su plataforma. El servicio se ocupa del aprovisionamiento de GPU, el mantenimiento de clústeres y las redes, mientras los equipos ejecutan su propio código de entrenamiento y ajuste de modelos. Conecta ese cómputo con cuadernos, herramientas de línea de comandos y la gobernanza existente, reduciendo la infraestructura separada que debe operar un equipo de entrenamiento.

El despliegue tiene un calendario más concreto que la fecha del anuncio. La programación publicada por Databricks señala el 15 de octubre para la disponibilidad general en AWS y Azure en espacios de trabajo sin el perfil de seguridad de cumplimiento activado. Los espacios elegibles que usan ese perfil tienen prevista la disponibilidad por defecto a mediados de noviembre, según los estándares y las regiones compatibles. El artículo del 21 de octubre introduce la oferta durante ese despliegue gradual, con acceso todavía determinado por las condiciones regionales y del espacio de trabajo.

Un anuncio conjunto con NVIDIA describe compatibilidad con entrenamiento distribuido multinodo, NVIDIA NeMo y contenedores de software optimizados para GPU. NCCL gestiona las comunicaciones entre GPU y Databricks administra la infraestructura subyacente. Los desarrolladores pueden conservar sus propios bucles de entrenamiento y los marcos habituales. Las opciones gestionadas incluyen un entorno Standard mínimo con CUDA y otro de IA más completo con PyTorch y Transformers, para adaptarse a distintos requisitos de dependencias.

Las imágenes Docker propias tienen condiciones de lanzamiento separadas. La documentación actual las identifica como Beta y exige que los administradores activen las vistas previas AI Runtime Beta Features y Databricks Artifact Registry. Las imágenes deben almacenarse en el registro del mismo espacio de trabajo que envía la carga, con los permisos necesarios para cargarlas y leerlas. Esta vía admite entornos de software aprobados por la organización y dependencias del sistema, junto con las opciones gestionadas.

Databricks comunica arranques del orden de segundos, incluidos clústeres con RDMA, mediante grupos de GPU sin servidor ya preparados y carga diferida de imágenes que continúa obteniendo datos después de iniciar la ejecución. Su documentación de entornos define una caché más limitada para los cuadernos interactivos: al reabrir uno se pueden reutilizar los paquetes instalados. Las tareas de línea de comandos y los trabajos programados no usan esa caché e instalan de nuevo sus dependencias. La afirmación sobre el arranque y la caché de dependencias describen, por tanto, partes diferentes del proceso.

La compatibilidad con Ray ofrece otra vía para ejecutar cargas Python existentes. Las bibliotecas documentadas incluyen Ray Core, Data, Train y Tune, que cubren tareas distribuidas, procesamiento de datos, entrenamiento y búsquedas de parámetros. Un cuaderno inicia Ray en su único nodo conectado; la interfaz de línea de comandos puede ejecutar un clúster fijo de uno o más nodos. La cantidad de nodos permanece fija durante cada carga y no se admite escalado automático del clúster Ray.

La observabilidad se integra mediante MLflow. Una actualización del 15 de octubre rediseñó la pestaña Logs que permite buscar y filtrar salidas por nodo, gravedad y rango temporal, seguir una carga en ejecución y descargar registros, con una retención de 60 días. Genie Code puede inspeccionar los registros de entrenamiento y ayudar a investigar errores de código, problemas de memoria y sobrecarga de comunicación. Lakeflow Jobs puede organizar entrenamiento, preparación de datos y evaluación, mientras Declarative Automation Bundles permite desplegar esos procesos de manera reproducible.

En cuanto al acceso gobernado a los datos, Databricks afirma que Unity Catalog aplica permisos de lectura y escritura a datos de entrenamiento, puntos de control y registros. La infraestructura aísla las cargas a nivel de máquina virtual y admite PrivateLink y controles de red saliente sin servidor. Estas capacidades acompañan las políticas de acceso y la configuración de red del espacio de trabajo. Los registros de uso y costes también están disponibles en tablas del sistema de Databricks, permitiendo contabilizar cada carga de entrenamiento junto con el resto de la actividad de la plataforma.