Todas las noticias
Técnica

Uber Engineering presenta un framework para gobernar agentes de IA

Por JP Software ·

JP Software
Ilustración de la nota: Uber Engineering presenta un framework para gobernar agentes de IA
JP Software

Uber Engineering presentó una arquitectura integral para gobernar agentes de inteligencia artificial a lo largo de todo su ciclo de vida, desde el aprovisionamiento hasta la auditoría posterior. La iniciativa aborda las limitaciones de los sistemas tradicionales de identidad y control de APIs, los cuales permiten verificar credenciales, pero no determinar si una acción propuesta por un modelo de lenguaje es coherente con la solicitud del usuario y el contexto operativo.

Datos clave

  • Uber Engineering identificó que las restricciones explícitas por agente fueron su control más eficaz frente a reglas genéricas.
  • El sistema analiza código, configuraciones, llamadas a herramientas y servidores MCP mediante su herramienta automatizada Argus.
  • La arquitectura divide la defensa en tres capas: registro previo, autorización en tiempo de ejecución y aseguramiento continuo.

Las tres capas de seguridad para agentes

El esquema de Uber Engineering distribuye la protección en tres etapas principales:

  1. Aprovisionamiento previo: Todo agente debe darse de alta en Uber AI Registry, donde se establecen identidad, propiedad, persona, intenciones permitidas, restricciones y nivel de riesgo. Una herramienta automatizada llamada Argus examina el código fuente, los prompts, las rutas de invocación de herramientas y las configuraciones de servidores MCP para detectar debilidades antes del despliegue.
  2. Autorización en tiempo de ejecución: El modelo evalúa el comportamiento dinámico. Mediante componentes llamados AI Guards y puntos de intercepción (Agent Guard runtime hooks), el sistema valida si la acción planteada es adecuada antes de permitir su ejecución.
  3. Aseguramiento continuo: Tras el despliegue, la infraestructura genera una traza de ejecución unificada que vincula las decisiones de seguridad con las llamadas a herramientas. Estas interacciones grabadas permiten reproducir escenarios para evaluar nuevas políticas sin afectar producción.

Restricciones explícitas frente a umbrales generales

El diseño busca mitigar problemas comunes en sistemas autónomos, como la inyección de prompts, el secuestro de objetivos (goal hijacking), la deriva de comportamiento y las alucinaciones que detonan llamadas a sistemas externos.

Sobre esta arquitectura, el arquitecto de IA Pratik Dhanave comentó:

La lección que llaman menos glamurosa es la que consideran más efectiva: intenciones y restricciones explícitas por agente. No umbrales genéricos, que fallaron porque cada agente tiene un propósito y un perfil de riesgo diferente. El costo es la flexibilidad, y afirman que vale la pena pagarlo.

Por su parte, Tristan G., funcionario senior de tecnologías de la información en la ONU, observó que aunque calibrar personas, intenciones y restricciones por agente aporta valor, el esfuerzo de mantenimiento escala con cada flujo de trabajo y deja abierta la interrogante sobre cómo gobernar agentes provistos por terceros o plataformas SaaS.

Por qué te importa

Si integras agentes autónomos con acceso a bases de datos o APIs externas, verificar tokens de autenticación no impide que un prompt injection desvíe el comportamiento del modelo. Diseñar barreras contextuales y delimitar de forma estricta qué herramientas e intenciones puede ejecutar cada agente reduce drásticamente el riesgo de acciones no deseadas en tus sistemas.

Comparte esta nota