Testador Robots.txt Gratuito - Teste Seu Robots.txt
Teste seu arquivo robots.txt e veja quais páginas podem ser rastreadas pelos motores de busca. Otimize sua estratégia de SEO com instruções de crawl corretas.
Última atualização: Maio 2026
Testador Robots.txt
Insira a URL do seu arquivo robots.txt
ex: /api ou /produtos
ex: Googlebot, Bingbot
O que testamos
- Todos os grupos User-agent
- Regras Allow e Disallow
- Declarações de sitemap
- Diretivas Crawl-delay
- Prioridade do match mais longo do Google
Análise do Robots.txt
A análise aparecerá aqui
Digite uma URL
Quer melhorar o SEO do seu site?
Com o UseClick, voce pode melhorar sua estrategia de SEO e direcionar mais trafego organico para seu site.
O que é um arquivo robots.txt?
Um arquivo Robots.txt e um arquivo de texto que instrui os mecanismos de busca sobre quais paginas eles podem rastrear e quais nao. E uma ferramenta importante para o SEO do seu site.
O que você vai aprender
O testador de robots.txt ajuda você a analisar e otimizar seu arquivo robots.txt. Verifique se o Google pode rastrear suas páginas.
1. Controls Crawl Budget
Search engines allocate a finite crawl budget to every domain. Disallowing low-value URLs (faceted navigation, internal search, duplicate parameters) frees Googlebot to spend that budget on the pages that actually rank and convert.
Up to 40% of crawl budget is wasted on duplicate URLs (Botify, 2024)
2. Prevents Indexing of Private Pages
Admin panels, staging environments, checkout funnels, and member-only areas should never appear in search results. Combined with noindex tags, robots.txt is the first line of defense against accidental indexing of sensitive paths.
7% of sites unintentionally expose private URLs in search
3. Must Be at the Domain Root
robots.txt only works when served from the exact path /robots.txt at the root of the host. A file at /folder/robots.txt is completely ignored by crawlers. Each subdomain needs its own file, and HTTPS and HTTP versions are treated separately.
Must return HTTP 200 from /robots.txt at the root host
Erros comuns de robots.txt
Erros reais que vemos toda semana. Teste seu arquivo com o verificador de robots txt acima antes que isso afete seus rankings.
Evite estes erros críticos
Referência de sintaxe robots.txt
Todas as diretivas de que você precisa, com exemplos funcionais para copiar no seu próprio robots.txt.
User-agent
Define a qual crawler as regras seguintes se aplicam. Use * para todos os bots ou um token como Googlebot, Bingbot, GPTBot ou ClaudeBot.
Disallow
Diz ao crawler correspondente para não buscar nenhuma URL que comece com o caminho dado. Um Disallow vazio significa permitir tudo. Use $ para ancorar o fim da URL e * para curingas.
Allow
Substitui uma regra Disallow mais ampla para caminhos específicos. O padrão mais específico vence e, em caso de empate, Allow tem prioridade segundo a especificação do Google.
Sitemap
Aponta os crawlers para o seu sitemap XML. Sitemap é uma diretiva de nível superior e não depende de nenhum grupo User-agent. Use sempre a URL absoluta.
Crawl-delay
Solicita um número mínimo de segundos entre requisições sucessivas do crawler. Bing, Yandex e Yahoo respeitam essa diretiva; o Google não.
# Comentários
Qualquer texto após um # em uma linha é tratado como comentário e ignorado pelos crawlers. Use comentários para documentar por que uma regra existe.
Perguntas Frequentes
O testador de robots.txt é uma ferramenta gratuita que ajuda você a verificar como os motores de busca veem seu site.
Sim, esta ferramenta é completamente gratuita sem necessidade de cadastro.
Basta inserir o URL do seu site e nossa ferramenta irá buscar e analisar o arquivo robots.txt.
Gerencie Seus Links Eficientemente com UseClick
UseClick ajuda você a gerenciar e otimizar todos os seus links. Aproveite nossas ferramentas para melhorar sua presença online.
Amigável para crawlers
Os links curtos respeitam as regras robots e SEO do seu site
Domínios de marca
Use seu próprio domínio em vez de bit.ly
Acesso total à API
Automatize links em todos os planos, inclusive no gratuito
Ferramentas gratuitas relacionadas
Pronto para comecar?
Crie sua conta gratis e comece a encurtar links