Todas las noticias
Técnica

Amazon SageMaker AI integra Full Fine-Tuning de forma serverless

Por JP Software ·

Persona soldando componentes electrónicos pequeños sobre una mesa de trabajo, vista desde arriba en ángulo cenital desenfocado.
Foto: This_is_Engineering vía Pixabay

Amazon SageMaker AI integró soporte para Full Fine-Tuning (FFT) dentro de su funcionalidad Serverless Model Customization, permitiendo que equipos de ingeniería ajusten todos los parámetros de modelos de lenguaje sin necesidad de aprovisionar instancias GPU ni configurar clústeres distribuidos manualmente.

Datos clave

  • FFT alcanzó un 90.0% de corrección semántica en LLM-as-Judge con más de 100,000 ejemplos de entrenamiento, según AWS Machine Learning.
  • La configuración base con tasa de aprendizaje en 2e-5, tamaño de lote de 8 y warmup de 5% fue la que mejor preservó el conocimiento general en MMLU, según AWS Machine Learning.
  • Tasas de aprendizaje agresivas de 5e-5 o mayores redujeron la precisión en MMLU a 3.6% y desplomaron las pruebas matemáticas a un rango de entre 2% y 3%, según AWS Machine Learning.
  • Las pruebas se realizaron sobre el modelo base Qwen3-4B utilizando el conjunto de datos Magicoder-Evol-Instruct-110K, según AWS Machine Learning.
  • La plataforma permite alternar entre LoRA y FFT cambiando únicamente el parámetro de tipo de entrenamiento en el SDK de Python, según AWS Machine Learning.

Las diferencias entre LoRA y el ajuste completo

Mientras que técnicas como LoRA (Low-Rank Adaptation) congelan el modelo base e inyectan matrices de bajo rango para minimizar el consumo de recursos, este enfoque suele topar con un límite de precisión en tareas complejas y datasets masivos. La limitación intrínseca del rango reducido no siempre absorbe adaptaciones profundas.

El Full Fine-Tuning actualiza simultáneamente todas las matrices de peso del modelo. Esto permite capturar distribuciones más densas sin las distorsiones localizadas de los métodos de bajo rango, logrando ventajas consistentes en métricas de similitud como BLEU y ROUGE-2 frente a adaptadores ligeros.

El riesgo de olvido catastrófico y control de hiperparámetros

El entrenamiento de todos los pesos introduce el peligro de sobreescribir el conocimiento general preentrenado. En las evaluaciones con la referencia MMLU, extender el entrenamiento más allá de 3 épocas degradó los resultados generales, aun cuando la función de pérdida en validación seguía cayendo.

Asimismo, en evaluaciones subjetivas de calidad con jueces automatizados, LoRA registró 81.5% frente al 79.5% de FFT en configuraciones específicas, confirmando que el ajuste completo exige una calibración estricta de hiperparámetros para no degradar el razonamiento del modelo original.

Por qué te importa

Si construyes productos con modelos especializados en dominios como generación de código o procesamiento técnico, la posibilidad de ejecutar Full Fine-Tuning de forma serverless elimina la barrera de orquestar clústeres de GPUs dedicados. Puedes experimentar directamente desde el SDK con modelos como Qwen3-4B, DeepSeek-R1-1.5B, Nemotron-30B o Gemma-4-26B, concentrándote en la calidad de tus datos y en las métricas de evaluación para evitar el olvido del modelo sin pagar infraestructura ociosa.

Comparte esta nota