A clínica troca o site, contrata anúncio, grava vídeo toda semana. E um arquivo de dez linhas, que ninguém da equipe nunca abriu, avisa ao ChatGPT que ele não pode entrar. Eu mostrei esse teste no Reels desta semana em 30 segundos. Aqui está o passo a passo completo, com o que cada linha significa e o que fazer em cada caso.
O que é o robots.txt e por que ele importa para as IAs?
O robots.txt é um arquivo de texto na raiz do site que diz aos robôs de busca o que eles podem ou não visitar. O Google, o Bing e os robôs do ChatGPT, do Claude e do Perplexity leem esse arquivo antes de entrar. Se ele fecha a porta para um robô, o site some da busca daquela ferramenta.
A OpenAI é direta: sites que bloqueiam o robô OAI-SearchBot não aparecem nas respostas de busca do ChatGPT. O Perplexity recomenda liberar o PerplexityBot para o site aparecer nos resultados. A lógica é a mesma em todas: sem acesso, sem citação.
Como abrir o robots.txt do seu site?
Leva menos de um minuto e não precisa de nenhuma ferramenta. Digite o endereço do site no navegador e acrescente /robots.txt no final. O arquivo abre como uma página de texto simples, e é isso que os robôs leem.
- Abra o navegador no celular ou no computador.
- Digite o endereço do site com /robots.txt no fim: por exemplo, suaclinica.com.br/robots.txt.
- Se aparecer uma página de erro (404), o site não tem o arquivo. Na prática, isso deixa tudo liberado.
- Se aparecer um texto com "User-agent" e "Disallow", leia cada bloco com a tabela abaixo.
Faça o mesmo com o endereço com e sem "www". Às vezes as duas versões têm arquivos diferentes.
O que cada linha do arquivo significa?
Cada bloco começa com "User-agent", que diz para qual robô vale a regra, e segue com "Allow" (liberado) ou "Disallow" (bloqueado). "Disallow: /" bloqueia o site inteiro para aquele robô. "Disallow:" vazio, ou "Allow: /", libera tudo.
O que aparece no arquivo | O que significa | O que fazer |
|---|---|---|
User-agent: * com Disallow: / | O site está fechado para todos os robôs, inclusive o Google | Urgente: peça a correção hoje |
User-agent: OAI-SearchBot com Disallow: / | O site está fora da busca do ChatGPT | Libere, se quiser aparecer no ChatGPT |
User-agent: PerplexityBot com Disallow: / | O site está fora dos resultados do Perplexity | Libere |
User-agent: Claude-SearchBot com Disallow: / | O site está fora da busca do Claude | Libere |
User-agent: GPTBot com Disallow: / | O conteúdo não será usado para treinar modelos da OpenAI | Decisão sua: não tira o site da busca do ChatGPT |
User-agent: Google-Extended com Disallow: / | O conteúdo não será usado pelo Gemini para treino | Decisão sua: não tira o site do Google nem da Visão geral criada por IA |
Disallow: /admin ou /painel | Só a área interna está fechada | Está certo, pode manter |

Bloquear o GPTBot tira a clínica do ChatGPT?
Não. A OpenAI separa os robôs por função: o GPTBot coleta conteúdo para treinar modelos, e o OAI-SearchBot alimenta a busca do ChatGPT. A própria documentação diz que cada configuração é independente. Dá para ficar fora do treino e continuar aparecendo na busca.
O mesmo vale para o Google. O Google afirma que o Google-Extended não afeta a inclusão do site na Busca nem serve como sinal de ranqueamento. E a Anthropic, dona do Claude, documenta três robôs diferentes: ClaudeBot (treino), Claude-User (quando alguém pede para o Claude ler uma página) e Claude-SearchBot (busca).
Robô | Empresa | Para que serve | Recomendação para clínicas |
|---|---|---|---|
Googlebot | Busca do Google e Visão geral criada por IA | Liberar sempre | |
Bingbot | Microsoft | Bing e Copilot | Liberar sempre |
OAI-SearchBot | OpenAI | Busca do ChatGPT | Liberar |
ChatGPT-User | OpenAI | Quando alguém pede ao ChatGPT para abrir uma página | Liberar |
PerplexityBot | Perplexity | Resultados do Perplexity | Liberar |
Claude-SearchBot | Anthropic | Busca do Claude | Liberar |
GPTBot, ClaudeBot, Google-Extended | OpenAI, Anthropic, Google | Treino de modelos | Decisão da clínica |
O arquivo está liberado, mas a IA não lê o site. Por quê?
O robots.txt é só a primeira porta. Hospedagens e serviços de proteção também podem bloquear robôs de IA, e esse bloqueio não aparece no arquivo. O caso mais comum é a Cloudflare, que protege boa parte dos sites e passou a barrar robôs de IA por padrão em domínios novos.
Desde julho de 2025, a Cloudflare bloqueia por padrão os robôs de IA conhecidos nos domínios novos, e essa configuração já mudou mais de uma vez. Se o site da clínica usa a Cloudflare, peça a quem cuida dele para abrir o painel e conferir a área de controle de robôs de IA.
Outros três pontos que fecham a porta sem ninguém perceber:
- Páginas marcadas com noindex ou nosnippet: o Google não usa essas páginas nem na busca comum nem na Visão geral criada por IA.
- Texto que só aparece depois de carregar scripts pesados: muitos robôs leem só o HTML inicial.
- Informação só em imagem ou vídeo: o que não está escrito na página não é lido.
Quanto tempo leva para a mudança valer?
A OpenAI informa que leva cerca de 24 horas para os sistemas dela reconhecerem uma mudança no robots.txt. O Perplexity fala em até 24 horas. Já voltar a ser citado depende do conteúdo do site e da concorrência na sua cidade, e isso leva semanas ou meses.
Por isso, a ordem certa é: liberar o acesso, conferir a hospedagem e só então trabalhar o conteúdo. No guia sobre como aparecer no ChatGPT, no Gemini e no Google eu mostro o que fazer depois que a porta estiver aberta.
Na prática: o robots.txt da Beyond
Este é o arquivo que deixamos no ar no nosso site, e é o modelo que usamos como ponto de partida para os clientes. Ele separa os robôs em dois grupos e fecha só as áreas internas.
- Busca liberada: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Googlebot, Bingbot, Applebot e DuckDuckBot.
- Treino liberado também: GPTBot, ClaudeBot, Google-Extended e outros. Essa é a nossa escolha como agência; cada clínica decide a dela.
- Fechado para todos: só o painel e as rotas internas do sistema (/admin e /api).
- Sitemap indicado no fim do arquivo, para os robôs acharem todas as páginas.
Onde o PULSE360 entra
Na maioria das clínicas, ninguém sabe quem é o dono desse arquivo. O site foi feito por uma pessoa, a hospedagem é de outra e o marketing é de uma terceira. Cada um acha que o outro conferiu.
No PULSE360®, a metodologia da Beyond, isso faz parte do pilar Autoridade: deixar a informação da clínica organizada para buscadores e IAs. E tudo começa pela etapa de Diagnóstico, com a Anamnese Digital, uma análise gratuita da presença digital da clínica no Google, no site, no Instagram e nos anúncios, com retorno da nossa equipe em até 48 horas.
Fontes
- OpenAI: visão geral dos robôs da OpenAI
- Perplexity: robôs do Perplexity
- Search Engine Roundtable: Google-Extended não afeta a Busca do Google
- Search Engine Roundtable: Anthropic atualiza a documentação dos robôs do Claude
- The Register: Cloudflare passa a bloquear robôs de IA por padrão
- Google Search Central: recursos de IA e o seu site



