Anthropic, OpenAI, Google et Microsoft ont annoncé qu’ils soutiendraient un signal commun dans robots.txt destiné à faciliter la tâche des éditeurs souhaitant empêcher ou limiter l’exploration de leurs sites par des entreprises d’intelligence artificielle. Actuellement, les opérateurs doivent bloquer individuellement les robots d’exploration de chaque entreprise.
Selon OpenAI, le nouvel indicateur permettra de communiquer une même préférence à plusieurs fournisseurs participants depuis une configuration unique. La proposition a été présentée par l’ingénieur d’Anthropic Kevin Kelley dans le cadre de travaux menés au sein de l’Internet Engineering Task Force, et Anthropic a déjà commencé à la prendre en charge.
OpenAI a affirmé qu’elle intégrerait le système dans les prochains mois, tandis que Google et Microsoft prévoient de le faire l’année prochaine.
Meta a également exprimé son soutien. Son vice-président chargé de la communication, Andy Stone, a qualifié le signal commun d’étape importante et a déclaré que l’entreprise soutenait la possibilité pour les éditeurs d’exprimer la manière dont ils souhaitent que leurs contenus soient utilisés pour l’entraînement de modèles génératifs fondamentaux.
La position de Meta intervient alors que l’entreprise fait face à des critiques concernant des conditions commerciales proposées qui permettraient un scraping étendu. L’entreprise a accepté la semaine dernière de retarder l’application de ces conditions.
Sources: Nieman Lab.