Todas las noticias
Técnica

SGLang-Neuron llega a AWS Trainium para servir modelos con PyTorch

Por JP Software ·

JP Software
Ilustración de la nota: SGLang-Neuron llega a AWS Trainium para servir modelos con PyTorch
JP Software

Amazon anuncio el lanzamiento publico de SGLang-Neuron, disponible a traves de una imagen de AWS Deep Learning Container desarrollada en colaboracion con RadixArk y Annapurna Labs. La integracion permite desplegar modelos de lenguaje y generar rollouts de aprendizaje por refuerzo en instancias con chips AWS Trainium utilizando la interfaz estandar de SGLang.

Datos clave

  • Se distribuye en el contenedor publico public.ecr.aws/neuron/pytorch-inference-sglang-neuron:v0.1.0-neuron-py314-sdk-2.33.0-ubuntu26.04, segun Amazon.
  • Soporta ejecucion sobre PyTorch nativo mediante TorchNeuron y compilacion con torch.compile, segun Amazon.
  • Permite desagregacion PD transfiriendo cache KV entre servidores con NIXL sobre Elastic Fabric Adapter (EFA), segun Amazon.
  • El plugin externo se activa al iniciar el servidor con la variable de entorno SGLANG_PLATFORM=neuron, segun Amazon.

Arquitectura y desacoplamiento

SGLang-Neuron fue disenado como un plugin desacoplado (out-of-tree) del nucleo de SGLang. Esta estructura permite que el soporte especifico de Trainium evolucione a su propio ritmo sin interferir con el ciclo de desarrollo central del framework.

Mientras SGLang gestiona el ciclo de vida de las peticiones, el servidor API, RadixAttention y la administracion de cache de prefijos, el plugin implementa los modelos adaptados a Trainium, la atencion, las capas Mixture of Experts (MoE) y el ejecutor de grafos. A nivel de ejecucion, TorchNeuron registra los chips como dispositivos de PyTorch e integra kernels desarrollados con Neuron Kernel Interface (NKI) para optimizar el rendimiento.

Desagregacion de etapas de inferencia

La herramienta incorpora soporte para desacoplar el procesamiento de prefill y decode. En este esquema, un servidor calcula el cache KV del prompt inicial y lo transfiere directamente a traves de la red a otro servidor encargado exclusivamente de la decodificacion y generacion de tokens. El traspaso se realiza mediante NIXL sobre Elastic Fabric Adapter (EFA), manteniendo en ambos extremos la gestion de tareas del planificador de SGLang.

Por qué te importa

El costo de inferencia a escala suele ser una de las principales barreras tecnicas al llevar modelos de lenguaje a produccion. Poder alternar la infraestructura subyacente hacia silicio dedicado como Trainium sin tener que reescribir tus pipelines, contratos de API ni logica de servicio reduce la friccion para experimentar con economias de hardware alternativas.

Comparte esta nota