Todas las noticias
Técnica

Cloudflare Auto Router elige modelo por petición en beta pública

Por JP Software ·

JP Software
Ilustración de la nota: Cloudflare Auto Router elige modelo por petición en beta pública
JP Software

Cloudflare lanzó Auto Router en beta pública a través de AI Gateway. Si configuras el modelo como cloudflare/auto, un clasificador elige un modelo distinto para cada petición. Le sirve a quien construye aplicaciones o agentes con varios modelos y quiere controlar el costo sin escoger a mano cada vez.

Datos clave

  • El clasificador asigna probabilidades en 14 categorías de tarea y califica de 1 a 5 cuatro dimensiones, según Cloudflare.
  • Clasifica solo con los turnos más recientes, con un tope de 8 KiB de texto, según Cloudflare.
  • En su benchmark de 97 tareas, con tres muestras por modelo y 10,000 remuestreos bootstrap, queda diez puntos por debajo de Claude Opus 5.5 en tasa de éxito, a cerca de un tercio del costo.
  • Es gratis durante la beta y no hay precio anunciado para después.

Cómo decide Auto Router

El proceso tiene dos etapas. Primero, AI Gateway arma un grupo de modelos candidatos: descarta los que no soportan el formato de la petición y aplica credenciales, facturación, control de acceso y límites de gasto.

Después, un modelo de clasificación corre en Workers AI sobre las GPU del borde de Cloudflare. Califica complejidad, ambigüedad, riesgo (stakes) y dependencia del contexto anterior. Una matriz de puntuación combina eso con resultados de benchmarks bajo la fórmula “utility = expected quality - adaptive cost penalty”. Mientras más difícil la tarea, menos pesa el precio.

Auditoría y control del grupo de modelos

La respuesta incluye los encabezados cf-aig-routed-model y cf-aig-routing-reason, con valores como cost_optimal_within_pool y pinned_by_turn. Así puedes revisar la decisión después.

Puedes restringir el grupo por petición con cf-aig-allowed-models y cf-aig-allowed-providers, pero todavía no con perfiles de enrutamiento guardados.

Si quieres reproducir el benchmark, confirma qué selecciona tu gateway. Los dos modelos base de la tabla, Opus 5.5 y GPT-6 Sol, están en la lista opcional que solo se alcanza con esos encabezados, y Cloudflare dice que el grupo “may change over time”.

Límites que conviene conocer

  • Sin un ID de sesión, las peticiones de una misma conversación pueden caer en modelos distintos y no reutilizan el caché del prompt. Cloudflare aplica una penalización por cambiar de modelo que crece con el contexto.
  • Los pesos vienen de benchmarks, así que los modelos nuevos se agregan a mano a la matriz.
  • No soporta WebSockets: quedan Chat Completions y la Responses API.
  • En el plan está cloudflare/auto-best, con el mismo clasificador y grupo, pero que elige la mayor calidad esperada sin considerar costo.

El riesgo en sesiones largas

Igor Pyrin, tech lead que ha trabajado en plataformas bancarias y de salud, señaló que el riesgo se calcula con una vista compacta que favorece los turnos recientes. Su ejemplo: el usuario dice al inicio “esto es un reembolso a un cliente” y después solo “adelante”. Él llevaría una etiqueta de riesgo propia de la aplicación entre turnos y la usaría para decidir si la petición puede usar cloudflare/auto.

Por qué te importa

Si tu factura de modelos crece, un enrutador puede mover las tareas simples a opciones más baratas. Diez puntos menos de éxito por un tercio del costo es un trato que cada equipo debe evaluar según su caso.

Mi lectura: pruébalo en una rama con tareas de bajo riesgo, mide tus propios resultados y deja las acciones sensibles con un modelo fijo o con una etiqueta de riesgo que controles tú.

Comparte esta nota