Anthropic, OpenAI, Google e Microsoft anunciaram que apoiarão um sinal comum no robots.txt destinado a facilitar que os editores impeçam ou limitem o rastreamento de seus sites por empresas de inteligência artificial. Atualmente, os operadores precisam bloquear individualmente os rastreadores de cada empresa.
Segundo a OpenAI, o novo indicador permitirá comunicar uma mesma preferência a vários provedores participantes a partir de uma única configuração. A proposta foi apresentada pelo engenheiro da Anthropic Kevin Kelley como parte de um trabalho na Internet Engineering Task Force, e a Anthropic já começou a aceitá-la.
A OpenAI afirmou que incorporará o sistema nos próximos meses, enquanto Google e Microsoft preveem fazê-lo no próximo ano.
A Meta também expressou seu apoio. Seu vice-presidente de comunicação, Andy Stone, classificou o sinal comum como um passo importante e afirmou que a empresa apoia a capacidade dos editores de expressar como desejam que seus conteúdos sejam utilizados no treinamento de modelos generativos fundacionais.
A posição da Meta surge enquanto a empresa enfrenta críticas por condições comerciais propostas que permitiriam um scraping amplo. A empresa aceitou na semana passada adiar a aplicação desses termos.
Fontes: Nieman Lab.