Como Configurar Crawlers de IA no robots.txt: GPTBot, PerplexityBot, ClaudeBot e Google-Extended

Para configurar crawlers de IA no robots.txt, você precisa de duas coisas: usar os user-agents corretos de cada empresa e decidir, separadamente, se quer liberar os robôs que alimentam a busca dessas ferramentas (o que permite que seu site seja citado em respostas) e os robôs que coletam conteúdo para treinar modelos. As empresas separaram esses robôs justamente para que você possa permitir um e bloquear o outro.

Na prática, um site que quer aparecer no ChatGPT, no Perplexity e no Claude deve, no mínimo, liberar OAI-SearchBot, PerplexityBot e Claude-SearchBot, e garantir que nenhum firewall ou CDN esteja barrando esses robôs antes mesmo de eles lerem o robots.txt.

Por que o robots.txt virou peça central do SEO para IA

Os assistentes com busca integrada funcionam em duas etapas: primeiro um robô rastreia e indexa páginas; depois, quando alguém faz uma pergunta, o sistema recupera trechos desse índice e monta a resposta com links. Se o robô de busca não consegue acessar seu site, você simplesmente não entra na lista de fontes possíveis, por melhor que seja o conteúdo.

Esse é o lado técnico do que explicamos no artigo sobre o que é GEO (Generative Engine Optimization): antes de disputar a citação, seu conteúdo precisa estar acessível para quem faz a recuperação.

Os user-agents oficiais de cada empresa

Os nomes abaixo foram conferidos nas documentações oficiais de cada empresa (links na seção Fontes). Esses nomes mudam com o tempo, então vale revisar as páginas oficiais pelo menos a cada semestre.

Empresa	User-agent	Função	Respeita robots.txt?
OpenAI	`OAI-SearchBot`	Exibir sites nos resultados de busca do ChatGPT	Sim
OpenAI	`GPTBot`	Coletar conteúdo que pode ser usado no treinamento de modelos	Sim
OpenAI	`ChatGPT-User`	Acessos iniciados por um usuário (ChatGPT, GPTs, Actions)	Pode não se aplicar, segundo a OpenAI
Perplexity	`PerplexityBot`	Exibir e linkar sites nos resultados do Perplexity; a empresa diz que não é usado para treinar modelos	Sim
Perplexity	`Perplexity-User`	Acessos iniciados por um usuário durante uma pergunta	Geralmente ignora, segundo a Perplexity
Anthropic	`ClaudeBot`	Coletar conteúdo que pode contribuir para o treinamento de modelos	Sim
Anthropic	`Claude-SearchBot`	Indexar conteúdo para melhorar resultados de busca	Sim
Anthropic	`Claude-User`	Acessar sites quando um usuário faz uma pergunta ao Claude	Sim
Google	`Google-Extended`	Token de controle: uso do conteúdo no treinamento e no grounding do Gemini e da Vertex AI	Sim (é só um token)

Três detalhes que costumam passar despercebidos:

Google-Extended não é um robô. Ele não tem user-agent próprio no tráfego; o rastreamento continua sendo feito pelos robôs normais do Google. O token só sinaliza se o conteúdo pode ser usado pelo Gemini. Segundo o Google, ele não afeta a inclusão na Busca nem é sinal de ranqueamento.
Bloquear Google-Extended não tira você dos AI Overviews. Os recursos de IA da Busca do Google usam o índice normal do Googlebot. Se você bloquear o Googlebot para fugir dos AI Overviews, sai da busca orgânica inteira.
Os robôs “User” são diferentes. OpenAI e Perplexity informam que seus agentes acionados por usuários podem não seguir o robots.txt, porque a visita foi pedida por uma pessoa. A Anthropic afirma que o Claude-User respeita o arquivo.

Exemplo de robots.txt para quem quer ser citado

O exemplo a seguir libera os robôs de busca e de acesso por usuário, e deixa uma decisão consciente sobre treinamento. É um ponto de partida; adapte os diretórios ao seu site.

# Robôs de busca de IA: liberados (necessários para ser citado)
User-agent: OAI-SearchBot
Allow: /
Disallow: /area-do-cliente/

User-agent: PerplexityBot
Allow: /
Disallow: /area-do-cliente/

User-agent: Claude-SearchBot
Allow: /
Disallow: /area-do-cliente/

# Acessos iniciados por usuários
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

# Treinamento de modelos: decisão de negócio (aqui, liberado)
User-agent: GPTBot
Allow: /
Disallow: /area-do-cliente/

User-agent: ClaudeBot
Allow: /
Disallow: /area-do-cliente/

User-agent: Google-Extended
Allow: /

# Demais robôs
User-agent: *
Disallow: /area-do-cliente/
Disallow: /carrinho/

Sitemap: https://www.seusite.com.br/sitemap.xml

Atenção a uma regra do próprio protocolo: quando um robô encontra um bloco com seu nome, ele ignora o bloco User-agent: *. Por isso as restrições de diretórios privados foram repetidas em cada bloco. Esse é um dos erros mais comuns que vemos em auditorias: o site cria um bloco específico para o GPTBot e, sem perceber, libera áreas que estavam protegidas no bloco geral.

Se a decisão for não permitir treinamento

Basta trocar os blocos de treinamento por:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Os robôs de busca continuam liberados, e o site segue elegível para citações no ChatGPT, no Perplexity e no Claude. A OpenAI informa que as configurações de OAI-SearchBot e GPTBot são independentes.

Treinamento: liberar ou bloquear?

Não existe resposta universal, e qualquer pessoa que prometa ganho garantido de visibilidade por liberar o treinamento está especulando. O que dá para fazer é pesar o contexto:

Liberar tende a fazer sentido para empresas de serviço, marcas que querem ser lembradas pelos modelos e sites cujo conteúdo é essencialmente marketing.
Bloquear tende a fazer sentido para quem vende o próprio conteúdo (editoras, cursos, bases de dados pagas) ou tem material proprietário que não quer ver reproduzido.

O ponto importante é não misturar as decisões: bloquear o treinamento não precisa significar sumir das respostas com busca.

Robots.txt liberado não garante acesso: confira CDN e firewall

Muitos sites têm o robots.txt correto e mesmo assim não são rastreados, porque o bloqueio acontece antes, na camada de infraestrutura. Verifique:

Regras de bot do CDN ou WAF. Alguns provedores oferecem bloqueio de “bots de IA” com um clique, e em certas configurações isso vem ativado. Confira o painel de segurança.
Proteções contra scraping de plugins de segurança no WordPress e similares, que às vezes bloqueiam por user-agent.
Limites de taxa agressivos, que retornam erro 429 ou 403 para qualquer visitante automatizado.
Conteúdo que depende de JavaScript para aparecer. Se o texto principal só é montado no navegador, alguns robôs podem receber uma página quase vazia. Renderização no servidor ou HTML estático é o caminho mais seguro.

Se precisar liberar no firewall, a Perplexity recomenda combinar user-agent e IP, e publica a lista de IPs oficiais em arquivos JSON. Liberar só pelo user-agent abre espaço para robôs falsos que se passam pelos verdadeiros.

Como verificar se a configuração funcionou

Depois de publicar o arquivo, siga este checklist:

Acesse seusite.com.br/robots.txt e confirme que a versão nova está no ar (cache de CDN costuma servir a antiga).
Teste a sintaxe com o relatório de robots.txt do Google Search Console, que pelo menos valida o arquivo.
Analise os logs do servidor procurando os nomes OAI-SearchBot, PerplexityBot e Claude-SearchBot, e observe os códigos de resposta. Muitos 403 indicam bloqueio na infraestrutura.
Espere: OpenAI e Perplexity indicam que mudanças no robots.txt podem levar cerca de 24 horas para surtir efeito.

Esse tipo de verificação também entra numa auditoria técnica de SEO completa, que olha robots.txt, sitemap e logs em conjunto.

Erros comuns

Copiar um robots.txt “anti-IA” de fórum que bloqueia tudo, inclusive os robôs de busca, e depois se perguntar por que a marca nunca aparece no ChatGPT.
Bloquear Googlebot achando que é Google-Extended, derrubando o tráfego orgânico.
Usar nomes de user-agent desatualizados ou inventados, que nenhum robô reconhece.
Esquecer o bloco geral e deixar áreas privadas liberadas para robôs específicos.
Tratar robots.txt como segurança. Ele é um pedido, não uma tranca. Conteúdo sensível precisa de autenticação.

Perguntas frequentes

Bloquear o GPTBot tira meu site do ChatGPT?

Não necessariamente. O GPTBot é o robô de treinamento. Quem alimenta a busca do ChatGPT é o OAI-SearchBot, e a OpenAI informa que as duas configurações são independentes. Você pode bloquear o GPTBot e manter o OAI-SearchBot liberado para continuar elegível a aparecer nas respostas com links.

Preciso de algo especial para aparecer nos AI Overviews do Google?

Não há robô específico para isso. Os AI Overviews usam o índice normal da Busca, rastreado pelo Googlebot. Se sua página está indexada e cumpre as boas práticas de SEO, ela é elegível. O token Google-Extended controla o uso no Gemini e na Vertex AI, não a presença na Busca.

Com que frequência devo revisar o robots.txt para IA?

Uma revisão a cada seis meses é um bom ritmo, além de sempre que houver migração, troca de CDN ou instalação de plugin de segurança. As empresas de IA lançam robôs novos e ajustam funções dos existentes, então conferir as documentações oficiais evita regras obsoletas no arquivo.

Fechando

Configurar crawlers de IA é rápido, mas o efeito de um erro pode durar meses sem ninguém perceber. Separar busca de treinamento, repetir as restrições em cada bloco e conferir a infraestrutura resolve a maior parte dos problemas. Na etapa seguinte, vale estruturar o conteúdo em respostas diretas, nos moldes do AEO (Answer Engine Optimization), para ser recuperado e citado. É isso que trabalhamos na nossa consultoria de SEO para IA, do rastreamento à medição de citações.

Fontes

Seu robots.txt está bloqueando os robôs de IA sem você saber? Fale com a nossa equipe e receba uma análise gratuita do seu site.