AWS Batch estrena quota management para SageMaker Training
Por JP Software ·
JP Software AWS lanzó quota management para AWS Batch en tareas de entrenamiento de Amazon SageMaker Training jobs. Esta nueva capacidad de calendarización divide la capacidad de GPUs en cuotas asignadas por equipo o proyecto, prestando recursos inactivos de manera automatizada entre distintas iniciativas sin requerir coordinación manual de los administradores.
Datos clave
- Integra soporte mediante el SDK de SageMaker Python v3 con el módulo aws_batch, según AWS.
- Ofrece tres estrategias de compartición de cómputo: RESERVE, LEND y LEND_AND_BORROW.
- Soporta dos tipos de interrupción: cross-share preemption entre equipos e in-share preemption interna por prioridad.
- Añade la API UpdateServiceJob para modificar la prioridad de ejecución en trabajos ya encolados.
Cómo funciona el reparto dinámico de GPUs
Administrar clústeres de GPUs compartidos suele traducirse en colas separadas y ajustes manuales constantes. Quota management resuelve este problema creando cuotas que funcionan como colas virtuales dentro de una cola principal de AWS Batch.
Los administradores definen reglas para cada grupo de trabajo. Si un equipo tiene capacidad ociosa y está bajo la política LEND o LEND_AND_BORROW, otro proyecto con exceso de demanda puede tomar esas GPUs prestadas temporalmente. Si el equipo propietario de la cuota envía un nuevo trabajo, AWS Batch activa una cross-share preemption: recupera los recursos de inmediato y los reasigna a su dueño original, sin que nadie deba rastrear y matar procesos a mano.
Control fino de prioridades e interrupciones
Dentro de un mismo equipo, la plataforma permite activar la interrupción interna basada en prioridades. Si entra una tarea crítica, el sistema puede pausar trabajos que se encuentren en estado SCHEDULED, STARTING o RUNNING. AWS recomienda esta configuración para cargas que utilizan guardado periódico mediante checkpointing.
Para configurar esta arquitectura se requiere una Scheduling Policy vinculada a una quotaSharePolicy, un Service Environment que defina las instancias asociadas (como ml.g5.xlarge) y una cola de trabajo de SageMaker Training. Todo el ciclo de vida, desde el envío hasta la actualización de prioridad de las tareas, puede gestionarse mediante scripts en Python.
Por qué te importa
El cómputo acelerado para entrenamiento de modelos representa uno de los costos operativos más altos en ingeniería de datos e inteligencia artificial. Mantener GPUs reservadas sin uso desperdicia presupuesto, mientras que compartirlas sin reglas automatizadas genera cuellos de botella entre equipos de investigación. Esta funcionalidad permite exprimir la infraestructura existente al máximo, garantizando disponibilidad inmediata a las cargas críticas sin frenar las tareas secundarias.