Todas las noticias
Técnica

TorchTPU llega de Google y Meta para dar soporte nativo de PyTorch en TPU

Por JP Software ·

JP Software
Ilustración de la nota: TorchTPU llega de Google y Meta para dar soporte nativo de PyTorch en TPU
JP Software

Google y Meta publicaron como software de código abierto TorchTPU, un backend nativo que permite ejecutar cargas de trabajo de PyTorch directamente sobre unidades TPU de Google con ajustes mínimos de código. El proyecto busca eliminar las fricciones técnicas que existían previamente al correr modelos en este hardware.

Datos clave

  • Admite tres modos de ejecución eager: strict, debug y DeferAndFuse, que según Google puede ser 50% o más veloz que strict eager y recortar el pico de memoria HBM.
  • En pruebas con el modelo Muse Glimmer de 30 mil millones de parámetros sobre un chip TPUv7, la inferencia logró 25.7k tokens por segundo con una longitud de secuencia de 5,120, según Google.
  • Para entrenamiento del mismo modelo en cuatro chips TPUv7, el rendimiento alcanzó 5.6k tokens por segundo con secuencia de 5,120 y 4.6k con secuencia de 10,240, según Google.
  • Se validó compatibilidad evaluando cerca de 5,000 modelos de Hugging Face en más de 500 arquitecturas en hardware desde TPUv5e.
  • Google probó cargas de entrenamiento usando Qwen3 MoE 235B escalando de 1,024 a 8,192 chips TPUv7.

Superando las limitaciones de PyTorch/XLA

Google comenzó a habilitar PyTorch en TPUs en 2020 mediante PyTorch/XLA usando JAX, XLA y lazy tensors. Sin embargo, ese esquema requería modificaciones intrusivas en el código fuente para definir regiones compilables, sufría de alta latencia de compilación y carecía de soporte nativo para el modo imperativo o eager.

TorchTPU prioriza la ejecución eager y simplifica la migración de hardware. Para mover un desarrollo desde GPUs hacia TPUs solo se requiere reemplazar la referencia del dispositivo cuda por tpu y el backend de distribución nccl por tpu_dist, o aprovechar la nueva API torch.accelerator.current_accelerator para detectar el hardware automáticamente.

Hoja de ruta del proyecto

El proyecto aún se encuentra en una etapa temprana. Su hoja de ruta contempla trabajo en soporte de formas dinámicas, desempeño de compilación, cobertura de operadores, aprendizaje por refuerzo y cuantización.

Por qué te importa

El ecosistema de PyTorch ha dependido históricamente de arquitecturas GPU específicas, lo que suele encarecer y limitar la disponibilidad de cómputo para entrenamiento e inferencia. Con TorchTPU, los equipos de ingeniería que construyen productos de inteligencia artificial ganan portabilidad directa sin reescribir sus implementaciones, abriendo la puerta a usar TPUs en la nube o en despliegues corporativos para optimizar costos de infraestructura.

Comparte esta nota