Amazon SageMaker Inference soporta particionado con NVIDIA MIG
Por JP Software ·
JP Software Amazon SageMaker Inference sumó soporte para particionado de GPU mediante la tecnología NVIDIA Multi-Instance GPU (MIG). La función permite dividir un acelerador físico en particiones aisladas por hardware para ejecutar múltiples modelos en una sola tarjeta o consumir fracciones exactas de GPUs modernas sin administrar clústeres propios de Kubernetes.
Datos clave
- Soporta hasta 7 particiones por GPU física, dependiendo del acelerador utilizado.
- Disponible en las familias de instancias P4d (A100), P5 (H100), G7 (RTX PRO 4500) y G7e (RTX PRO 6000).
- Reduce el costo entre un 18% y un 34% por millón de tokens de salida en cargas concurrentes al comparar una fracción de H100 contra una A100 entera.
- El proceso de particionado añade aproximadamente 17 segundos al aprovisionamiento del endpoint.
- Se implementa mediante dos campos opcionales en la API dentro de los componentes de inferencia.
Cómo funciona el particionado en SageMaker
El despliegue tradicional en la nube obliga a asignar aceleradores enteros, lo que genera capacidad ociosa en modelos pequeños o fuerza a gestionar arquitecturas complejas. SageMaker Inference integra la división a nivel de hardware aprovechando los componentes de inferencia existentes.
La configuración utiliza dos parámetros opcionales:
AcceleratorPartitionLayouts: se define en la variante de producción dentro deCreateEndpointConfigpara declarar cómo se divide cada GPU física.AcceleratorPartitionType: se indica en la especificación del componente de inferencia para asignarle una partición específica al modelo.
Cada partición cuenta con memoria, caché y núcleos de cómputo dedicados. Esto previene problemas comunes de la compartición por software, asegurando latencias p99 predecibles y aislamiento total ante fallos de memoria.
Rendimiento de fracciones modernas frente a GPUs completas
Al medir el desempeño con el modelo Llama-3.1-8B-Instruct utilizando la herramienta genai-bench, una partición mig-3g.40gb de una NVIDIA H100 mostró ventajas claras frente a una NVIDIA A100 completa de 40 GB.
La partición entregó entre 53% y 89% más tokens de salida por segundo en los puntos de mayor beneficio de costo, y redujo el tiempo hasta el primer token entre 5.6% y 47.5%. En pruebas de contexto largo de 6,000 y 8,000 tokens bajo alta concurrencia, la A100 entera descartó peticiones por límites de tiempo, mientras que la partición de H100 procesó el tráfico sin fallas.
La facturación continúa calculándose sobre la instancia completa, por lo que el beneficio económico radica en consolidar modelos o aprovechar mejor hardware más avanzado.
Por qué te importa
Si despliegas modelos de lenguaje pequeños, variantes especializadas, clasificadores de seguridad o pipelines de varias etapas, reservar una GPU entera por servicio eleva los costos de infraestructura de forma innecesaria. Esta función te permite empaquetar múltiples cargas aisladas en una sola máquina sin la sobrecarga operativa de mantener drivers, plugins y orquestadores manuales en Kubernetes.