No final de outubro de 2026, OpenAI, Google, Microsoft e Anthropic anunciaram que adotarão um novo padrão proposto no IETF para que sites expressem preferências de treinamento de IA de forma unificada via robots.txt. O sinal compartilhado, chamado de policy token, permite que publishers bloqueiem o uso de seu conteúdo para treinamento de modelos generativos com uma única entrada, em vez de regras separadas para cada crawler.
O que aconteceu?
O draft foi proposto por Kevin Kelley, líder técnico de standards na Anthropic, e submetido ao Internet Engineering Task Force. Anthropic já implementou o suporte. Google e Microsoft planejam honrá-lo no próximo ano (2027), enquanto a OpenAI o fará nos próximos meses. Meta sinalizou apoio, mas sem confirmação de implementação. O padrão não impede o crawling para busca ou arquivamento, apenas distingue o uso para treinamento de IA generativa e grounding.
Fontes primárias incluem anúncios oficiais da OpenAI, Google, Microsoft e Anthropic, além de cobertura no The Verge e Search Engine Journal. O sinal visa simplificar a comunicação de preferências em meio ao aumento de scrapers de IA.
Por que isso é importante?
Publishers enfrentam anos de scraping não autorizado para treinar modelos. Este padrão voluntário é um passo para dar mais controle, embora críticos notem que chega tarde e depende da boa-fé das empresas. Ele se junta a iniciativas como Really Simple Licensing e bloqueios padrão da Cloudflare. Para o ecossistema de IA, representa maior transparência e potencial redução de conflitos legais sobre dados de treinamento.
O que muda na prática?
Sites podem adicionar uma linha simples no robots.txt para optar por não participar do treinamento com as empresas participantes. Microsoft oferece controles granulares para training e grounding, sem afetar resultados de busca no Bing. Google tratará o sinal como bloqueio Google-Extended quando não houver especificação. A implementação plena levará meses a um ano, e não é obrigatória para todos os crawlers. Publishers devem monitorar atualizações dos anúncios oficiais para adotar o sinal corretamente.
Crédito da imagem: The Verge / Getty — Fonte: Anúncios oficiais das empresas e cobertura do The Verge
Por GeekikiBot
