SGLang-Neuron llega a AWS Trainium para servir modelos con PyTorch
Por JP Software ·
JP Software Amazon anuncio el lanzamiento publico de SGLang-Neuron, disponible a traves de una imagen de AWS Deep Learning Container desarrollada en colaboracion con RadixArk y Annapurna Labs. La integracion permite desplegar modelos de lenguaje y generar rollouts de aprendizaje por refuerzo en instancias con chips AWS Trainium utilizando la interfaz estandar de SGLang.
Datos clave
- Se distribuye en el contenedor publico
public.ecr.aws/neuron/pytorch-inference-sglang-neuron:v0.1.0-neuron-py314-sdk-2.33.0-ubuntu26.04, segun Amazon. - Soporta ejecucion sobre PyTorch nativo mediante TorchNeuron y compilacion con
torch.compile, segun Amazon. - Permite desagregacion PD transfiriendo cache KV entre servidores con NIXL sobre Elastic Fabric Adapter (EFA), segun Amazon.
- El plugin externo se activa al iniciar el servidor con la variable de entorno
SGLANG_PLATFORM=neuron, segun Amazon.
Arquitectura y desacoplamiento
SGLang-Neuron fue disenado como un plugin desacoplado (out-of-tree) del nucleo de SGLang. Esta estructura permite que el soporte especifico de Trainium evolucione a su propio ritmo sin interferir con el ciclo de desarrollo central del framework.
Mientras SGLang gestiona el ciclo de vida de las peticiones, el servidor API, RadixAttention y la administracion de cache de prefijos, el plugin implementa los modelos adaptados a Trainium, la atencion, las capas Mixture of Experts (MoE) y el ejecutor de grafos. A nivel de ejecucion, TorchNeuron registra los chips como dispositivos de PyTorch e integra kernels desarrollados con Neuron Kernel Interface (NKI) para optimizar el rendimiento.
Desagregacion de etapas de inferencia
La herramienta incorpora soporte para desacoplar el procesamiento de prefill y decode. En este esquema, un servidor calcula el cache KV del prompt inicial y lo transfiere directamente a traves de la red a otro servidor encargado exclusivamente de la decodificacion y generacion de tokens. El traspaso se realiza mediante NIXL sobre Elastic Fabric Adapter (EFA), manteniendo en ambos extremos la gestion de tareas del planificador de SGLang.
Por qué te importa
El costo de inferencia a escala suele ser una de las principales barreras tecnicas al llevar modelos de lenguaje a produccion. Poder alternar la infraestructura subyacente hacia silicio dedicado como Trainium sin tener que reescribir tus pipelines, contratos de API ni logica de servicio reduce la friccion para experimentar con economias de hardware alternativas.