NVIDIA Nemotron 3.5 Super VL llega a AWS para correr agentes multimodales
Por JP Software ·
JP Software NVIDIA y AWS publicaron la arquitectura de referencia para desplegar el modelo multimodal abierto NVIDIA Nemotron 3.5 Super VL sobre Amazon Elastic Kubernetes Service (Amazon EKS), Amazon EKS Auto Mode y Amazon SageMaker HyperPod EKS. La solución está pensada para equipos que construyen flujos de trabajo basados en agentes y requieren capacidades de razonamiento junto con análisis de texto, imágenes, documentos y video en infraestructura propia.
Datos clave
- 120B de parámetros totales y 12B activos: arquitectura Mixture-of-Experts (MoE) que activa únicamente 12B parámetros por token, según NVIDIA.
- Ventana de contexto de hasta 1M de tokens: integra capas híbridas Mamba-2, atención y codificador visual RADIO, disponible en formatos BF16 y NVFP4, según NVIDIA.
- Resultados en evaluaciones: 87.05% en pruebas de agentes LangChain, 63.44% en Hermes Bench y 80.8% en razonamiento sobre gráficos con CharXiv, según NVIDIA.
- Requisitos de hardware: vLLM requiere desde una GPU B300 o GB300 en NVFP4, hasta 16 GPUs H100 para precisión BF16, según AWS.
Arquitectura híbrida Mamba-2 y MoE
NVIDIA Nemotron 3.5 Super VL es un modelo destilado a partir de Nemotron 3 Ultra. A diferencia de las arquitecturas Transformer tradicionales, combina capas Mamba-2 con capas de atención y expertos dispersos. El estado de tamaño constante de Mamba-2 evita que el consumo de memoria crezca al ritmo del caché de claves y valores (KV cache) en secuencias extensas.
Además, el modelo incorpora un cabezal de predicción multitoken recursivo (MTP) que habilita decodificación especulativa nativa, acelerando la generación de respuestas de texto.
Despliegue en Amazon EKS y SageMaker HyperPod
La implementación en AWS utiliza Kubernetes para orquestar pods de sistema en nodos CPU y la inferencia en instancias GPU conectadas vía Elastic Fabric Adapter (EFA). Las imágenes de contenedor residen en Amazon Elastic Container Registry (Amazon ECR) y los pesos del modelo se cargan desde un volumen compartido de Amazon FSx for Lustre.
El servicio del modelo se gestiona mediante NVIDIA Dynamo y vLLM. Esta pila permite correr la inferencia agregada en una sola máquina o desagregada, separando la fase de prefill (procesamiento de entrada) de la fase de decode (generación) e incluso aislando la codificación visual en un nodo independiente.
Las pruebas de rendimiento con la herramienta NVIDIA aiperf sobre instancias como p6-b200.48xlarge (8 GPUs B200) y p5en.48xlarge (8 GPUs H200) permiten medir el tiempo hasta el primer token (TTFT) y la latencia entre tokens (ITL), facilitando escalar la capacidad de cómputo adecuada para cada etapa de la inferencia.
Por qué te importa
Correr agentes autónomos con visión y razonamiento localmente solía exigir clústeres gigantescos e ineficientes. Al activar solo 12B parámetros por token y estabilizar el consumo de memoria en ventanas de hasta un millón de tokens gracias a Mamba-2, Nemotron 3.5 Super VL ofrece una vía viable para procesar documentos complejos y video sin depender exclusivamente de APIs comerciales cerradas.