Google presenta el benchmark PLE para evaluar agentes de IA en ingeniería
Por JP Software ·
JP Software El equipo de Google AI & Infrastructure, en colaboración con Mercor, presentó Physical-Engineering’s Last Exam (PLE), un nuevo benchmark y competencia abierta diseñado para evaluar las capacidades de modelos de frontera en tareas de ingeniería mecánica, eléctrica, civil y estructural. La iniciativa busca medir el desempeño de agentes en escenarios de infraestructura real frente a normativas estrictas y requisitos de seguridad.
Datos clave
- Consta de 85 tareas de largo alcance: 30 de ingeniería mecánica, 27 eléctrica, 18 civil y 10 estructural, según Google.
- Cada tarea incluye un promedio de 61 archivos (5,170 archivos en total) con planos CAD 2D, modelos BIM 3D, hojas de cálculo y correos, según Google.
- Todos los modelos de frontera evaluados obtuvieron puntajes por debajo del 50%, alcanzando el más alto un 48.3%, según Google.
- La mejor configuración de agente superó el 91% de restricciones aisladas, pero solo el 41.3% de sus entregables aprobó todas las pruebas críticas de seguridad, según Google.
- Se liberaron 29 tareas públicas junto con sus herramientas de evaluación en contenedores sobre el entorno Archipelago de Mercor, según Google.
Un entorno de trabajo basado en la práctica real
A diferencia de las evaluaciones académicas tradicionales que prueban preguntas de opción múltiple o llamadas simples a herramientas, PLE sitúa a los agentes en carpetas de proyecto contenerizadas basadas en la plataforma Archipelago de Mercor. En este entorno, los modelos deben interpretar códigos de edificación, límites físicos y revisiones documentales para producir entregables listos para la revisión de un ingeniero certificado.
El conjunto de pruebas fue elaborado con apoyo de profesionales colegiados mediante dos métodos: 44 tareas redactadas directamente por ingenieros de la industria y 41 tareas coautoradas, donde los especialistas definieron el diseño base y validaron la dificultad del entorno ensamblado por flujos automatizados.
Brechas en seguridad y control de diseño
Las pruebas iniciales abarcaron 14 modelos de frontera ejecutados sobre siete entornos públicos: Antigravity, Claude Code, Codex, Hermes, OpenCode, OpenHands y Pi. Los criterios del benchmark exigen aprobar revisiones estrictas de seguridad física y costos de materiales antes de asignar puntaje.
El análisis técnico destacó que la elección del modelo subyacente impacta el rendimiento hasta en 50 puntos de diferencia, mientras que el entorno de ejecución influye principalmente en el costo operativo de las corridas. Las 29 tareas públicas y el tablero de resultados están disponibles para la comunidad en ple-bench.com.
Por qué te importa
Si desarrollas agentes de IA o automatizaciones para áreas operativas, PLE demuestra los límites reales de los modelos actuales fuera del software puro. Los agentes pueden parecer capaces de entender restricciones aisladas, pero fallan de forma notable cuando deben integrar decenas de documentos y apegarse estrictamente a normas de seguridad sin alucinar parámetros críticos.