Todas las noticias
Técnica

Netflix gestiona la fiabilidad de GPUs como un sistema distribuido

Por JP Software ·

JP Software
Ilustración de la nota: Netflix gestiona la fiabilidad de GPUs como un sistema distribuido
JP Software

Netflix presentó los detalles de su plataforma de fiabilidad construida sobre Kubernetes para gestionar entrenamientos e inferencia en clústeres de unidades de procesamiento gráfico (GPU). La solución está pensada para evitar que la degradación física o la pérdida de un solo componente detenga tareas masivas que corren de forma sincronizada durante semanas.

Datos clave

  • Disponibilidad de nodos GPU superior al 99.95%, según Netflix.
  • Tasa de éxito en trabajos de entrenamiento elevada de aproximadamente 98% a más de 99.5%, según Netflix.
  • Los fallos de hardware causaron más del 66% de las interrupciones en el entrenamiento de Llama 3, según datos reportados por Meta citados en el informe.
  • Chequeos de hardware en capas que integran NVIDIA Data Center GPU Manager (DCGM) e interfaces Elastic Fabric Adapter.

Chequeos estrictos y diagnóstico que falla cerrado

Netflix descubrió que las comprobaciones convencionales de la nube no son suficientes para cargas de IA. Una máquina virtual puede responder con normalidad en red, pero la GPU llega a fallar en cuanto se le asigna memoria o inicia el cómputo sostenido. De igual forma, un adaptador de red puede perder enlaces y reducir el ancho de banda drásticamente.

Para resolverlo, desarrollaron un agente de nodo en Kubernetes que monitorea errores térmicos, memoria e interconexión mediante NVIDIA DCGM, además de revisar el estado de las interfaces Elastic Fabric Adapter. Estos chequeos están diseñados para fallar cerrados: si una herramienta de diagnóstico se congela por tiempo de espera, el nodo se marca automáticamente como no saludable, utilizando registros del kernel como respaldo.

Remediación progresiva y tolerancia a fallos

En lugar de destruir de inmediato una máquina ante cualquier anomalía, los controladores de Netflix ejecutan respuestas graduales. Un fallo transitorio puede bloquear nuevas tareas mientras permite terminar las que ya están en ejecución. Si el problema persiste, el nodo se drena progresivamente.

La remediación se integra con la autoreparación de Karpenter y puede variar desde reiniciar la GPU hasta reiniciar o reemplazar la máquina física completa. Para los trabajos de entrenamiento masivos, la plataforma implementa puntos de control (checkpointing) y trabajadores elásticos, permitiendo reanudar la ejecución desde el último estado válido sin reiniciar tareas por errores de código legítimos. Además, utilizan Multi-Instance GPU (MIG) de NVIDIA para aislar cargas menores de inferencia y preparan la adopción de Kubernetes Dynamic Resource Allocation (DRA).

Por qué te importa

Cuando escalas cargas de cómputo intensivo o entrenas modelos propios, asumir que la infraestructura en la nube funciona solo porque el nodo responde por SSH es un error costoso. El enfoque de Netflix demuestra que la fiabilidad del hardware debe tratarse a nivel de software: aislar componentes lentos, automatizar el drenado de máquinas y guardar puntos de control frecuentes es lo que evita desperdiciar horas de cómputo y presupuesto en GPUs inactivas.

Comparte esta nota