Exowatt supera a modelos frontera afinando LLMs con Amazon SageMaker
Por JP Software ·
JP Software Exowatt implementó un pipeline automatizado y serverless usando Amazon SageMaker AI para afinar modelos abiertos de la familia Qwen3, logrando mayor precisión que modelos frontera de gran tamaño y reduciendo el costo operativo hasta 49 veces tanto en la nube como en dispositivos de borde.
Datos clave
- 49 veces menor costo: según Exowatt, el modelo afinado Qwen3-14B genera 1,000 respuestas por 0.60 dólares en Amazon Bedrock Custom Model Import, frente a los 29.26 dólares de Claude Opus 4.7.
- Mayor precisión en borde: Qwen3-1.7B alcanzó un puntaje macro-F1 de 0.911 en clasificación de alarmas, superando a Claude Sonnet 4.6 (0.698) y Claude Opus 4.7 (0.680).
- Inferencia local sin GPU: el modelo de 1.7B se cuantizó a 8 bits (1.71 GiB) para ejecutarse sin conexión y sobre CPU mediante llama.cpp en controladores físicos.
- Entrenamiento serverless: el ajuste de Qwen3-1.7B tomó 32 minutos con un costo aproximado de 20 a 25 dólares, mientras que Qwen3-14B requirió 8.5 horas de entrenamiento mediante LoRA.
La arquitectura detrás de los modelos pequeños
Exowatt diseña sistemas solares modulares diseñados para alimentar centros de datos de IA. Para monitorear alarmas en hardware y gestionar despachos de energía sin depender de operadores humanos continuos, la empresa requería modelos especializados en tareas concretas.
En lugar de enviar telemetría a modelos masivos en la nube, el equipo adoptó un enfoque en dos capas:
- Borde desconectado: para la clasificación de fallas en sitio, afinaron Qwen3-1.7B con un conjunto de 2,522 ejemplos (684 decisiones validadas y 1,838 paráfrasis sintéticas certificadas generadas con Qwen3-235B). El modelo resultante corre de forma local en pods de Kubernetes con CPU, entregando decisiones clasificadas o absteniéndose si la evidencia no es concluyente.
- Nube elástica: para el análisis de mercados energéticos basado en 163 millones de filas de datos de ERCOT, prepararon 86,281 ejemplos procesados con Claude Sonnet 4.6 para enriquecer la redacción. Con esto afinaron Qwen3-14B en una sola época de LoRA (rango 16, alfa 32) y lo desplegaron en Amazon Bedrock Custom Model Import, el cual cobra 6.86 dólares por hora activa sin costo por inactividad.
Ambas implementaciones devuelven respuestas estrictas en formato JSON donde cada conclusión cita la fila de datos que la justifica, descartando cualquier afirmación sin soporte directo en las entradas.
Por qué te importa
Este caso confirma un cambio técnico importante: para tareas cerradas y repetitivas dentro de una empresa, los modelos de frontera vía API no siempre son la opción más viable técnica ni financieramente. Un modelo pequeño, afinado con un dataset curado y validado, elimina la latencia de red, permite trabajar offline en hardware modesto y reduce de forma drástica la factura de cómputo en producción.