Anthropic, OpenAI, Google und Microsoft kündigten an, ein gemeinsames Signal in robots.txt zu unterstützen, das es Verlagen erleichtern soll, das Crawling ihrer Websites durch Unternehmen für künstliche Intelligenz zu verhindern oder einzuschränken. Derzeit müssen Betreiber die Crawler jedes Unternehmens einzeln blockieren.
OpenAI zufolge wird das neue Signal es ermöglichen, mehreren teilnehmenden Anbietern über eine einzige Konfiguration dieselbe Präferenz mitzuteilen. Der Vorschlag wurde von Anthropic-Ingenieur Kevin Kelley im Rahmen einer Arbeit bei der Internet Engineering Task Force eingebracht, und Anthropic hat bereits begonnen, ihn zu unterstützen.
OpenAI erklärte, das System in den kommenden Monaten zu integrieren, während Google und Microsoft dies im kommenden Jahr planen.
Auch Meta bekundete seine Unterstützung. Der Kommunikationsvizepräsident des Unternehmens, Andy Stone, bezeichnete das gemeinsame Signal als einen wichtigen Schritt und erklärte, das Unternehmen unterstütze die Möglichkeit für Verlage, zum Ausdruck zu bringen, wie ihre Inhalte beim Training grundlegender generativer Modelle verwendet werden sollen.
Die Position von Meta kommt zu einem Zeitpunkt, an dem das Unternehmen wegen vorgeschlagener Geschäftsbedingungen kritisiert wird, die ein weitreichendes Scraping ermöglichen würden. Das Unternehmen erklärte sich vergangene Woche bereit, die Anwendung dieser Bedingungen zu verschieben.
Quellen: Nieman Lab.