Uma regra para vários rastreadores
Quatro das maiores empresas de inteligência artificial do mundo anunciaram, em 30 de outubro de 2026, que passarão a respeitar um mesmo sinal no arquivo robots.txt. Segundo o site Coywolf, OpenAI, Google, Microsoft e Anthropic apoiam o token __usage_ai-training, que serve para um site dizer que não quer que seu conteúdo seja usado no treinamento de modelos de IA.
Até agora, quem queria bloquear o treinamento precisava listar um rastreador por empresa, como Google-Extended, GPTBot e ClaudeBot. A proposta é concentrar a preferência em uma só linha. O exemplo publicado pelo Coywolf bloqueia o treinamento em todo o site, exceto uma pasta:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
O que está por trás: um rascunho no IETF
O sinal vem de um documento chamado Machine-Readable Training Preference Signal, o draft-kelley-aipref-training-preference-signal-00, assinado por Kevin Kelley, da Anthropic, e datado de 30 de outubro de 2026. O rascunho expira em 3 de maio de 2027.
Segundo a página do documento no IETF, ele não cria diretivas novas nem muda a gramática do robots.txt: usa grupos comuns, identificados por um token de política na linha User-Agent. O token segue a sintaxe de produto do robots.txt (letras, sublinhados e hífens) e é comparado sem diferenciar maiúsculas de minúsculas. Um caminho bloqueado expressa preferência contra o uso, e um caminho liberado expressa preferência a favor. Grupos com User-Agent: * não valem para esse token, e, se nenhum grupo o citar, nenhuma preferência é registrada.
A mesma página deixa claro o status: é um rascunho individual de um único autor, não endossado pelo IETF e sem posição formal no processo de padronização. O documento pode mudar ou ser substituído a qualquer momento.
Quem faz o quê, e quando
O cronograma de adoção é desigual, conforme o Coywolf:
| Empresa | Situação |
|---|---|
| Anthropic | Única a respeitar o token hoje |
| OpenAI | Diz que vai respeitar o sinal voluntário e planeja implementar nos próximos meses |
| Prevê suporte no início de 2027 | |
| Microsoft | Passa a respeitar as preferências em fevereiro de 2027 |
Há detalhes específicos de cada empresa. O Google pretende tratar um site que use o token, mas não mencione o Google-Extended, como se tivesse bloqueado o Google-Extended. A Microsoft criou ainda uma regra separada, a DisallowExtended, que vale só para produtos próprios, como o Copilot e o Microsoft 365. As empresas mantêm seus tokens proprietários ao lado do novo.
O Coywolf lembra que o Bing exigia que sites permitissem o treinamento para aparecerem nos resultados de busca. O novo token dá aos editores uma opção que não existia antes.
O que o sinal não garante
O principal limite é que o sinal é voluntário. Como o próprio subtítulo do artigo resume, ele não pode ser imposto. Rastreadores que ignoram ou contornam o robots.txt não são barrados por ele, e a adoção ainda depende das empresas cumprirem o que anunciaram. Para quem precisa de bloqueio efetivo, o artigo aponta serviços de gerenciamento de bots, como o da Cloudflare.
Outras iniciativas disputam o mesmo espaço. O Coywolf cita um rascunho do grupo de trabalho aipref do IETF, escrito por Gary Illyes, do Google, e Martin Thomson, da Mozilla, que usa um cabeçalho HTTP Content-Usage junto com uma regra no robots.txt. Cita também a diretiva Content-Signal da Cloudflare, com os valores ai-train, ai-input e search, e o padrão Really Simple Licensing, lançado em 2025 pelo RSL Collective, que permite aos editores definir condições para robôs de IA. O artigo diz que o grupo do IETF ainda avalia outras abordagens, então o padrão final pode ser diferente.
O que editores e sites brasileiros podem fazer
As recomendações do Coywolf são práticas e valem para qualquer portal de notícias, blog ou loja:
- Mantenha os tokens atuais. Enquanto nem todos os provedores respeitarem o novo sinal, continue bloqueando com
Google-Extended,GPTBoteClaudeBot. - Adicione o token compartilhado. A Anthropic já o respeita, e as demais devem aderir ao longo de 2027.
- Declare o
Google-Extendedde forma explícita. Isso elimina a ambiguidade sobre como o Google interpreta o seu arquivo. - Considere ferramentas de bloqueio de bots se o problema forem rastreadores que ignoram o
robots.txt. - Acompanhe os rascunhos do IETF. O formato final pode mudar.
Por que isso importa
O treinamento de modelos com conteúdo publicado na web é um dos pontos mais sensíveis entre empresas de IA e produtores de conteúdo, de jornais a artistas. Um sinal comum reduz o trabalho de quem quer se manifestar, mas não resolve a questão jurídica: o token, por si só, não cria obrigação legal, e as consequências de ignorá-lo dependem da legislação de cada país. Por ora, o que está confirmado é um acordo de intenção entre quatro empresas, um rascunho técnico em avaliação e um calendário de implementação que se estende por 2027.