OpenAI, Google, Microsoft y Anthropic adoptan un estándar contra el scraping
Por JP Software ·
JP Software OpenAI, Google, Microsoft y Anthropic anunciaron que adoptarán un nuevo estándar unificado que permitirá a los administradores de sitios web excluir su contenido del entrenamiento de modelos de inteligencia artificial. La medida busca sustituir el modelo actual, donde cada plataforma web debe configurar permisos individuales para cada rastreador que visita sus servidores.
Datos clave
- Kevin Kelley, líder técnico de estándares en Anthropic, propuso la especificación técnica ante el Internet Engineering Task Force (IETF), según Anthropic.
- Anthropic ya adoptó el estándar, OpenAI planea integrarlo en los próximos meses y Google y Microsoft confirmaron su soporte para el próximo año.
- Microsoft mantendrá la visibilidad de los sitios web en los resultados de búsqueda de Bing sin importar si bloquean el entrenamiento o grounding de IA.
- Meta expresó su apoyo al desarrollo del estándar a través de Andy Stone, responsable de comunicaciones, aunque no especificó cuándo respetará la señal.
Un token unificado en robots.txt
La especificación técnica se basa en un «policy token» que se añade directamente en el archivo robots.txt del servidor. Este archivo ha sido durante décadas el estándar para coordinar la indexación en motores de búsqueda, la creación de archivos históricos y, recientemente, la recopilación de datos para modelos de lenguaje.
Con la llegada masiva de rastreadores automatizados, los creadores de contenido enfrentaban la necesidad de seguir la pista a decenas de agentes distintos para bloquearlos de forma individual. Si las empresas detectan este nuevo token compartido en el archivo de configuración del sitio, restringirán el acceso de sus crawlers automáticamente.
Microsoft aclaró que permitirá controles granulares para diferenciar entre el entrenamiento de modelos y el grounding, que es el uso de información verificada para reducir alucinaciones en respuestas en tiempo real. En ambos casos, las páginas conservarán su posición en los resultados habituales de búsqueda, un esquema similar al que Google ya utilizaba en sus paneles de configuración.
Por qué te importa
Si administras infraestructura web o gestionas contenido corporativo, mantener listas interminables de User-Agents en robots.txt era un proceso frágil y propenso a descuidos. La adopción de un estándar dentro del IETF devuelve certeza técnica a la arquitectura web: una sola directiva sirve para varios de los mayores actores del sector sin poner en riesgo tu indexación orgánica en buscadores.