Anthropic, OpenAI, Google e Microsoft hanno annunciato che sosterranno un segnale comune in robots.txt destinato a facilitare il compito degli editori che vogliono impedire o limitare la scansione dei propri siti da parte delle aziende di intelligenza artificiale. Attualmente, gli operatori devono bloccare individualmente i crawler di ciascuna azienda.
Secondo OpenAI, il nuovo indicatore permetterà di comunicare la stessa preferenza a più fornitori partecipanti attraverso un'unica configurazione. La proposta è stata avanzata dall'ingegnere di Anthropic Kevin Kelley nell'ambito di un lavoro presso l'Internet Engineering Task Force, e Anthropic ha già iniziato ad adottarla.
OpenAI ha dichiarato che integrerà il sistema nei prossimi mesi, mentre Google e Microsoft prevedono di farlo l'anno prossimo.
Anche Meta ha espresso il proprio sostegno. Il suo vicepresidente della comunicazione, Andy Stone, ha definito il segnale comune un passo importante e ha affermato che l'azienda sostiene la possibilità per gli editori di esprimere come desiderano che i loro contenuti vengano utilizzati nell'addestramento di modelli generativi di base.
La posizione di Meta arriva mentre l'azienda deve affrontare critiche per alcune condizioni commerciali proposte che consentirebbero uno scraping su larga scala. La società ha accettato la scorsa settimana di rinviare l'applicazione di tali termini.
Fonti: Nieman Lab.