Google libera ML Drift, motor GPU open source para IA en el dispositivo
Por JP Software ·
JP Software Google publicó ML Drift, un motor de cómputo en GPU multiplataforma y de código abierto, pensado para inferencia de IA y aprendizaje automático directamente en el dispositivo. Tiene licencia Apache 2.0 y soporta OpenGL ES, OpenCL, Metal y WebGPU. Le sirve a quien desarrolla apps que corren modelos en hardware muy variado.
Datos clave
- Licencia Apache 2.0, con soporte para OpenGL ES, OpenCL, Metal y WebGPU, según Google.
- Hasta 40% menos latencia promedio por fotograma en efectos de segmentación de YouTube Shorts, en Android y iOS, según Google.
- Hasta 30% de mejora en funciones de Adobe Lightroom y Photoshop como Select Subject, Select Sky y Adaptive Portrait, según Google.
- 30% menos latencia de modelo en los efectos de rostro y estilo de Snapchat en Android, según Google.
- 12% menos uso de memoria que otros marcos como llama.cpp y MLX LM, en pruebas con modelos Gemma, según Google.
Qué es ML Drift
ML Drift es el motor de aceleración en GPU que impulsa LiteRT. Al abrirlo, Google permite construir runtimes propios de gráficos e inferencia para casos que van de visión por computadora, audio y profundidad hasta IA generativa.
Su meta es simplificar el acceso a la variedad de GPUs que aparece al crear apps para dispositivos de borde: distintas arquitecturas, versiones de drivers y APIs de bajo nivel, sin saber de antemano en qué hardware correrá la app.
Qué cambia frente al delegado de TFLite
Sobre el delegado GPU anterior de TFLite, ML Drift añade shaders unificados mediante virtualización de tensores, operaciones personalizadas extensibles y soporte para tensores de cinco dimensiones. También incluye optimizaciones específicas para GPUs de Arm, Intel y Qualcomm Technologies.
En escritorio, extiende el soporte de inferencia en Windows y Linux mediante Dawn, la implementación de WebGPU de Chromium, y mantiene el backend nativo de Metal en macOS. Dawn evita interactuar directamente con APIs como DirectX y Vulkan.
Migración y uso
Google dejará de actualizar el delegado GPU anterior de TensorFlow Lite. Para mantener compatibilidad con modelos existentes, recomienda migrar al acelerador LiteRT ML Drift GPU. Quien desarrolla aplicaciones puede usar ese acelerador; quienes trabajan en GPU y sistemas pueden usar su API de C++ de bajo nivel para construir grafos de cómputo GpuModel y escribir shaders propios.
Lo que falta por ver
Un desarrollador cuestionó cómo se compara con Core ML en iPhones recientes, en latencia y memoria. Google no ha dado cifras comparativas.
Por qué te importa
Si llevas IA al dispositivo, una sola capa que cubra Android, iOS, escritorio y web reduce trabajo de mantenimiento. Si dependes del delegado GPU de TensorFlow Lite, deja de recibir actualizaciones, así que conviene planear la migración. Mi lectura: mide latencia y memoria en tus propios equipos antes de decidir, porque las cifras publicadas vienen de las apps de Google y sus socios.