Verificador de Crawlabilidade AI
Check se ChatGPT, Claude, Perplexity, Google Gemini, e outro AI buscar engines pode crawl e index seu website.
Enter seu site url
Verificamos todos os principais crawlers de IA
agora encontrar fora Who's Actually Visiting de AI buscar
Getting crawled is step one — step two is knowing which AI plataformas send you real traffic. UseClick tracks visits from ChatGPT, Perplexity, e every outro source.
o que é AI Crawlability?
Check se ChatGPT, Claude, Perplexity, Google Gemini, e outro AI buscar engines pode crawl e index seu website.
Busca Alimentada por IA Esta Crescendo
ChatGPT, Perplexity, Claude e Google Gemini estao se tornando as principais formas das pessoas encontrarem informacoes.
robots.txt Controla Acesso
seu robots.txt arquivo é o main gatekeeper para AI crawlers.
llms.txt Is the Novo Standard
Assim como robots.txt revolucionou o SEO tradicional, llms.txt esta se tornando o padrao para descoberta de conteudo orientada a IA.
Crawlers IA que Verificamos
Nossa ferramenta verifica seu site contra todos os principais crawlers de busca de IA.
ChatGPT / OpenAI
GPTBotPowers ChatGPT's web buscar e knowledge base. Largest AI buscar user base.
Claude / Anthropic
ClaudeBot + anthropic-aiPotencializa Claude AI pela Anthropic. Verifica ambos os identificadores de bot usados pela Anthropic.
Perplexity AI
PerplexityBotPowers Perplexity.ai — one of o fastest-growing AI buscar engines.
Google Gemini
Google-ExtendedPowers Google's AI Recursos including Gemini e buscar Generative Experience.
Meta AI
meta-externalagentPowers Meta AI across Facebook, Instagram, e WhatsApp.
Common Crawl
CCBotabrir dataset used to train most major LLMs. Being indexed aqui helps many AI models.
Amazon Alexa
AmazonbotPowers Amazon Alexa e Amazon's AI-powered buscar Recursos.
Cohere AI
cohere-aiEnterprise AI plataforma used by many businesses for internal AI search and RAG systems.
como to Optimize seu Site para AI Crawlers
seguir estes steps para maximize seu AI buscar visibility.
Audit seu robots.txt
abrir seu robots.txt at yourdomain.com/robots.txt. olhar para Disallow rules.
# Allow all AI crawlers User-agent: GPTBot Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: / User-agent: Google-Extended Allow: /
criar an llms.txt arquivo
Place an llms.txt arquivo at seu domain root. este emerging standard helps LLMs entender seu site.
# My Company — Short description ## About We provide [what you do]. ## Key Pages - [Homepage](https://example.com/) - [About](https://example.com/about) - [Blog](https://example.com/blog) ## Optional - [Sitemap](https://example.com/sitemap.xml)
Verificar Tags Meta Robots
Ensure seu pages don't have noai ou noindex in their meta robots tags.
<!-- Good: allows AI indexing --> <meta name="robots" content="index, follow"> <!-- Bad: blocks AI crawlers --> <meta name="robots" content="noai, noimageai"> <!-- Bad: blocks all crawling --> <meta name="robots" content="noindex, nofollow">
adicionar um sitemap.xml
A sitemap helps AI crawlers discover todos pages on seu site.
# In robots.txt, add: Sitemap: https://yourdomain.com/sitemap.xml # Most CMSes auto-generate sitemaps: # WordPress: /sitemap.xml or /sitemap_index.xml # Shopify: /sitemap.xml # Next.js: use next-sitemap package
agora encontrar fora Who's Actually Visiting de AI buscar
Getting crawled is step one — step two is knowing which AI plataformas send you real traffic. UseClick tracks visits from ChatGPT, Perplexity, e every outro source.
Perguntas Frequentes
Tudo o que precisas saber sobre crawlabilidade de IA and optimizing your site for AI search engines.
Perguntas Frequentes
É a facilidade com que mecanismos de busca de IA e crawlers de LLM conseguem descobrir, ler e indexar seu conteúdo.
GPTBot é o crawler da OpenAI. Você pode permitir ou bloquear no robots.txt de acordo com a sua estratégia.
ClaudeBot e anthropic-ai são crawlers da Anthropic. Trate esses dois identificadores de forma consistente no robots.txt.
llms.txt é um formato emergente que ajuda os sistemas de IA a entender suas páginas importantes e a estrutura do conteúdo.
O robots.txt controla quais bots podem rastrear seu site. Regras Disallow específicas podem bloquear crawlers de IA individuais.
Depende da sua estratégia. Permiti-los pode aumentar a visibilidade em IA; bloqueá-los dá mais controle.
Ela combina HTTPS, robots.txt, sitemap, llms.txt e acesso aos principais crawlers de IA.
Google-Extended é o token de controle do Google para o Gemini e os recursos de busca com IA.
More Grátis SEO & Marketing Tools
Pronto para comecar?
Crie sua conta gratis e comece a encurtar links