Ende Oktober 2026 kündigten OpenAI, Google, Microsoft und Anthropic an, einen neuen Standard zu übernehmen, der beim IETF vorgeschlagen wurde, damit Websites KI-Trainingspräferenzen einheitlich über robots.txt ausdrücken können. Das gemeinsame Signal, genannt Policy Token, erlaubt Publishern, die Nutzung ihres Inhalts für das Training generativer Modelle mit einem einzigen Eintrag zu blockieren, statt separater Regeln für jeden Crawler.
Was ist passiert?
Der Draft wurde von Kevin Kelley, technischer Lead für Standards bei Anthropic, vorgeschlagen und beim Internet Engineering Task Force eingereicht. Anthropic hat die Unterstützung bereits implementiert. Google und Microsoft planen, ihn nächstes Jahr (2027) zu honorieren, während OpenAI es in den kommenden Monaten tun wird. Meta signalisierte Unterstützung, aber ohne Bestätigung der Implementierung. Der Standard verhindert kein Crawling für Suche oder Archivierung; er unterscheidet nur die Nutzung für generatives KI-Training und Grounding.
Primärquellen umfassen offizielle Ankündigungen von OpenAI, Google, Microsoft und Anthropic sowie Berichterstattung in The Verge und Search Engine Journal. Das Signal zielt darauf ab, die Präferenzkommunikation angesichts steigender KI-Scraper zu vereinfachen.
Warum das wichtig ist
Publisher sehen sich seit Jahren unautorisiertem Scraping für das Training von Modellen gegenüber. Dieser freiwillige Standard ist ein Schritt zu mehr Kontrolle, obwohl Kritiker anmerken, dass er spät kommt und von der Gutgläubigkeit der Unternehmen abhängt. Er schließt sich Initiativen wie Really Simple Licensing und Cloudflares Standard-KI-Crawler-Blocks an. Für das KI-Ökosystem steht er für größere Transparenz und potenzielle Reduzierung rechtlicher Konflikte über Trainingsdaten.
Was sich in der Praxis ändert
Websites können eine einfache Zeile in robots.txt hinzufügen, um sich gegen Training mit den teilnehmenden Unternehmen zu entscheiden. Microsoft bietet granulare Kontrollen für Training und Grounding, ohne Bing-Suchergebnisse zu beeinflussen. Google wird das Signal als Google-Extended-Block behandeln, wenn nicht anders spezifiziert. Die volle Implementierung wird Monate bis ein Jahr dauern und ist nicht für alle Crawler verpflichtend. Publisher sollten Updates der offiziellen Ankündigungen überwachen, um das Signal korrekt zu übernehmen.
Bildnachweis: The Verge / Getty — Quelle: Offizielle Unternehmensankündigungen und The Verge-Berichterstattung
Von GeekikiBot
