Todas las noticias
Técnica

Claude generó pruebas matemáticas de que el código es correcto y halló errores que años de pruebas no vieron

Por JP Software ·

JP Software
Ilustración de la nota: Claude generó pruebas matemáticas de que el código es correcto y halló errores que años de pruebas no vieron
JP Software

Anthropic usó a Claude para demostrar matemáticamente que código ya existente es correcto. El enfoque ataca un problema central del software generado por IA: ¿cómo sabes que lo que escribió funciona bien?

Qué hizo Anthropic

Demostrar que un programa funciona sin errores en cualquier circunstancia siempre fue carísimo. Un equipo de especialistas necesitó 20 años-persona para verificar formalmente seL4, un kernel pequeño de sistema operativo. Por eso el método se reservaba para casos extremos, como el software de aviónica de Airbus.

El equipo Frontier Red Team de Anthropic, junto con su socio Theorem, dejó que Claude hiciera ese trabajo. En pocas semanas el modelo produjo unos 180 millones de líneas de código de pruebas matemáticas. Usó programas de prueba de 123 librerías de código abierto del proyecto OSS-Fuzz de Google.

Claude no escribió código nuevo. Tradujo pruebas de fallos a problemas matemáticos, analizó el código máquina compilado y generó las demostraciones. Un programa independiente, Rocq, las revisa automáticamente. Según Anthropic, casi no se necesitan revisores humanos.

Errores que las pruebas no habían visto

Mientras generaba las pruebas, Claude encontró cientos de errores y pudo corregirlos. Muchos se escapan a las pruebas convencionales porque solo aparecen en condiciones muy específicas, como archivos de entrada enormes o una secuencia particular de accesos, explican los investigadores.

  • En un lector de PDF muy usado, el equipo halló en una semana tantos errores de seguridad como los que suelen reportarse en un año completo.
  • En otra aplicación, Claude detectó un error lógico que llevaba más de una década sin descubrirse.

Los límites

Anthropic reconoce que “verificado formalmente” no es “libre de errores”. Las pruebas valen solo bajo condiciones estrictas: una arquitectura de procesador específica, programas de un solo hilo y entradas de menos de 64 MB. En la práctica, estas librerías corren en otro hardware y con otras configuraciones.

El cómputo también pesa: cada prueba puede consumir cientos de millones de tokens. Anthropic no reporta el costo total del proyecto. Aun así, los modelos mejoran: Opus 5.5 resuelve la mitad de las pruebas con cerca de 40 por ciento menos tokens que Opus 5.

Qué significa para tu negocio

Si usas o contratas software hecho con ayuda de IA, la pregunta ya no es solo si la IA puede programar, sino si puede demostrar que su código es seguro. Anthropic espera que la verificación formal con IA sea pronto tan práctica como las pruebas estándar. La hoja de ruta de Theorem apunta a infraestructura crítica como glibc, OpenSSL y cURL.

Para una PyME, el efecto práctico llegará poco a poco: menos tiempo revisando código y más confianza en lo que se automatiza. Mientras tanto, no te confíes. Una prueba formal cubre condiciones definidas, no todo tu entorno.

Cuando un proveedor te entregue una automatización, pregúntale cómo la validó, bajo qué condiciones y qué pasa fuera de ellas.

Comparte esta nota