Grátis Tool

Testador Robots.txt Gratuito - Teste Seu Robots.txt

Teste seu arquivo robots.txt e veja quais páginas podem ser rastreadas pelos motores de busca. Otimize sua estratégia de SEO com instruções de crawl corretas.

Última atualização: Maio 2026

Testador Robots.txt

Insira a URL do seu arquivo robots.txt

Deixe em branco para testar a página inicial (/).

Testamos o caminho com as regras deste rastreador.

O que testamos

  • Todos os grupos User-agent
  • Regras Allow e Disallow
  • Declarações de sitemap
  • Diretivas Crawl-delay
  • Prioridade do match mais longo do Google

Análise do Robots.txt

Seu relatório de robots.txt aparecerá aqui

Insira um domínio para ver quais caminhos os rastreadores podem acessar.

Quer melhorar o SEO do seu site?

Com o UseClick, voce pode melhorar sua estrategia de SEO e direcionar mais trafego organico para seu site.

Criar conta gratuita

O que é um arquivo robots.txt?

Um arquivo Robots.txt e um arquivo de texto que instrui os mecanismos de busca sobre quais paginas eles podem rastrear e quais nao. E uma ferramenta importante para o SEO do seu site.

O que você vai aprender

O testador de robots.txt ajuda você a analisar e otimizar seu arquivo robots.txt. Verifique se o Google pode rastrear suas páginas.

  • 1. Controls Crawl Budget

    Search engines allocate a finite crawl budget to every domain. Disallowing low-value URLs (faceted navigation, internal search, duplicate parameters) frees Googlebot to spend that budget on the pages that actually rank and convert.

    Up to 40% of crawl budget is wasted on duplicate URLs (Botify, 2024)

  • 2. Prevents Indexing of Private Pages

    Admin panels, staging environments, checkout funnels, and member-only areas should never appear in search results. Combined with noindex tags, robots.txt is the first line of defense against accidental indexing of sensitive paths.

    7% of sites unintentionally expose private URLs in search

  • 3. Must Be at the Domain Root

    robots.txt only works when served from the exact path /robots.txt at the root of the host. A file at /folder/robots.txt is completely ignored by crawlers. Each subdomain needs its own file, and HTTPS and HTTP versions are treated separately.

    Must return HTTP 200 from /robots.txt at the root host

Erros comuns de robots.txt

Erros reais que vemos toda semana. Teste seu arquivo com o verificador de robots txt acima antes que isso afete seus rankings.

Evite estes erros críticos

  • Disallow: /

    Bloqueia todo o seu site para todos os crawlers. Geralmente vazado de staging para produção.

  • Bloquear CSS e JS

    Disallow: /assets/ ou /static/ impede o Google de renderizar páginas, o que prejudica rankings.

  • Uso incorreto de wildcard

    Disallow: *.pdf não faz nada. Use Disallow: /*.pdf$ para bloquear PDFs em todo o site.

  • Caminho de arquivo errado

    Colocado em /robots/robots.txt em vez de /robots.txt. Os crawlers nunca vão encontrá-lo.

  • Bloqueio + noindex

    Bloquear uma página impede o Google de ver a tag noindex e pode mantê-la indexada.

  • Caminhos sensíveis a maiúsculas

    Disallow: /Admin não bloqueia /admin. Os caminhos diferenciam maiúsculas de minúsculas.

Referência de sintaxe robots.txt

Todas as diretivas de que você precisa, com exemplos funcionais para copiar no seu próprio robots.txt.

  • User-agent: *
User-agent: Googlebot
Disallow: /private/

    01User-agent

    Define a qual crawler as regras seguintes se aplicam. Use * para todos os bots ou um token como Googlebot, Bingbot, GPTBot ou ClaudeBot.
  • Disallow: /admin/
Disallow: /*.pdf$
Disallow: /search?

    02Disallow

    Diz ao crawler correspondente para não buscar nenhuma URL que comece com o caminho dado. Um Disallow vazio significa permitir tudo. Use $ para ancorar o fim da URL e * para curingas.
  • User-agent: *
Disallow: /private/
Allow: /private/public-page.html

    03Allow

    Substitui uma regra Disallow mais ampla para caminhos específicos. O padrão mais específico vence e, em caso de empate, Allow tem prioridade segundo a especificação do Google.
  • Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-images.xml

    04Sitemap

    Aponta os crawlers para o seu sitemap XML. Sitemap é uma diretiva de nível superior e não depende de nenhum grupo User-agent. Use sempre a URL absoluta.
  • User-agent: Bingbot
Crawl-delay: 10

    05Crawl-delay

    Solicita um número mínimo de segundos entre requisições sucessivas do crawler. Bing, Yandex e Yahoo respeitam essa diretiva; o Google não.
  • # Block AI crawlers from training pages
User-agent: GPTBot
Disallow: /  # full site block

    06# Comentários

    Qualquer texto após um # em uma linha é tratado como comentário e ignorado pelos crawlers. Use comentários para documentar por que uma regra existe.
FAQ

Perguntas Frequentes

O testador de robots.txt é uma ferramenta gratuita que ajuda você a verificar como os motores de busca veem seu site.

Sim, esta ferramenta é completamente gratuita sem necessidade de cadastro.

Basta inserir o URL do seu site e nossa ferramenta irá buscar e analisar o arquivo robots.txt.

Gerencie Seus Links Eficientemente com UseClick

UseClick ajuda você a gerenciar e otimizar todos os seus links. Aproveite nossas ferramentas para melhorar sua presença online.

  • Amigável para crawlers

    Os links curtos respeitam as regras robots e SEO do seu site

  • Domínios de marca

    Use seu próprio domínio em vez de bit.ly

  • Acesso total à API

    Automatize links em todos os planos, inclusive no gratuito

Começar grátis
  • Começar grátis
  • Sem cartão de crédito
  • Última atualização: Maio 2026
Grátis Tool

Ferramentas gratuitas relacionadas

Todas as ferramentas gratuitas

Pronto para comecar?

Crie sua conta gratis e comece a encurtar links

Comece grátis