Anthropic, OpenAI, Google y Microsoft anunciaron que apoyarán una señal común en robots.txt destinada a facilitar que los editores impidan o limiten el rastreo de sus sitios por parte de empresas de inteligencia artificial. Actualmente, los operadores deben bloquear de forma individual los rastreadores de cada compañía.
Según OpenAI, el nuevo indicador permitirá comunicar una misma preferencia a varios proveedores participantes desde una única configuración. La propuesta fue planteada por el ingeniero de Anthropic Kevin Kelley como parte de un trabajo en el Internet Engineering Task Force, y Anthropic ya ha comenzado a admitirla.
OpenAI afirmó que incorporará el sistema en los próximos meses, mientras que Google y Microsoft prevén hacerlo el próximo año.
Meta también expresó su respaldo. Su vicepresidente de comunicación, Andy Stone, calificó la señal común como un paso importante y señaló que la compañía apoya la capacidad de los editores para expresar cómo desean que se utilicen sus contenidos en el entrenamiento de modelos generativos fundacionales.
La posición de Meta llega mientras la empresa afronta críticas por unas condiciones comerciales propuestas que permitirían un scraping amplio. La compañía aceptó la semana pasada retrasar la aplicación de esos términos.
Fuentes: Nieman Lab.