Todas las noticias
Técnica

Google publica AQuA para diagnosticar fallas en agentes de IA

Por JP Software ·

JP Software
Ilustración de la nota: Google publica AQuA para diagnosticar fallas en agentes de IA
JP Software

Google liberó como código abierto AQuA (Ambient Quality Agent), una implementación de referencia diseñada para analizar sesiones de agentes de inteligencia artificial en producción. La herramienta busca resolver el problema de las regresiones silenciosas, situaciones donde un modelo responde sin marcar error en el servidor, pero omite instrucciones clave del usuario o se salta llamadas a herramientas obligatorias.

Datos clave

  • Analiza hasta 1,000 sesiones recientes por ejecución a partir de Cloud Trace, Cloud Logging o BigQuery, según Google.
  • Evalúa el comportamiento en cinco etapas consecutivas: muestreo, revisión, agrupamiento de hallazgos, verificación y seguimiento de incidentes.
  • Reduce incidentes en pruebas controladas: en una muestra de 32 sesiones de viajes, las omisiones de selección de asientos cayeron de 15 a dos tras ajustar los prompts.
  • Marca el estado de cada problema como NEW, RECURRING o lo pasa a RESOLVED tras 14 días sin registrar reincidencias.

Cómo funciona el diagnóstico con AQuA

AQuA corre en Google Cloud fuera de la ruta crítica de las peticiones del usuario, funcionando como un observador independiente. Para configurar el comportamiento esperado del sistema, el equipo de desarrollo define criterios en un archivo llamado goal.md y puede agregar métricas deterministas personalizadas. La herramienta se puede ejecutar bajo demanda, de forma programada o inmediatamente después de un despliegue.

Para el análisis de causa raíz, AQuA coteja las sesiones que fallaron con una captura inmutable del código fuente tomada durante el despliegue. Su agente de diagnóstico identifica instrucciones o fragmentos responsables, cita las líneas exactas del repositorio y sugiere correcciones. Google diseñó la herramienta únicamente para informar y sugerir cambios; AQuA no aplica soluciones directas en el código ni genera pull requests automáticos.

En un blog oficial sobre el proyecto, Google señaló:

An insight is its citations, not a self-reported confidence score.

Las conclusiones del sistema exigen referencias verificables en el código desplegado y enlaces directos a las trazas correspondientes.

Límites en el análisis

Google señala que el sistema presenta limitaciones propias del muestreo, por lo que fallas muy poco frecuentes pueden quedar fuera de la revisión. Además, la reproducción de sesiones en entornos de prueba puede no recrear el estado externo de herramientas o bases de datos de terceros.

Por qué te importa

Cuando construyes flujos basados en LLMs, la infraestructura convencional solo te avisa si el servicio se cayó o si arrojó un error 500. Un agente puede devolver una respuesta perfectamente estructurada mientras ignora parámetros críticos de tu lógica de negocio. Disponer de herramientas abiertas que crucen las trazas de ejecución directamente con las líneas de código desplegadas te permite encontrar qué prompt o qué función falló sin tener que auditar manualmente miles de registros.

Comparte esta nota