Tester robots.txt Gratuito - Valida il Tuo File robots.txt
Inserisci un URL del sito per verificare se il file robots.txt è configurato correttamente. Assicurati che i motori di ricerca possano indicizzare le pagine giuste.
Ultimo aggiornamento: Maggio 2026
Strumento Tester robots.txt
Inserisci l'URL principale del sito
es: /api o /prodotti
es: Googlebot, Bingbot
Cosa testiamo
- Tutti i gruppi User-agent
- Regole Allow e Disallow
- Dichiarazioni di sitemap
- Direttive Crawl-delay
- Priorità Google del match più lungo
Analisi Robots.txt
L'analisi apparirà qui
Inserisci un URL
Vuoi migliorare la SEO del tuo sito?
Usa UseClick per creare link brevi che aiutano a guidare il traffico verso il tuo sito.
Cos'è il file robots.txt?
Un file robots.txt è un file di testo collocato nella radice del tuo sito che istruisce i crawler dei motori di ricerca.
Informazioni sul tester robots.txt
Il tester robots.txt ti aiuta ad analizzare e ottimizzare il tuo file robots.txt. Verifica se Google può rastreare le tue pagine.
1. Controls Crawl Budget
Search engines allocate a finite crawl budget to every domain. Disallowing low-value URLs (faceted navigation, internal search, duplicate parameters) frees Googlebot to spend that budget on the pages that actually rank and convert.
Up to 40% of crawl budget is wasted on duplicate URLs (Botify, 2024)
2. Prevents Indexing of Private Pages
Admin panels, staging environments, checkout funnels, and member-only areas should never appear in search results. Combined with noindex tags, robots.txt is the first line of defense against accidental indexing of sensitive paths.
7% of sites unintentionally expose private URLs in search
3. Must Be at the Domain Root
robots.txt only works when served from the exact path /robots.txt at the root of the host. A file at /folder/robots.txt is completely ignored by crawlers. Each subdomain needs its own file, and HTTPS and HTTP versions are treated separately.
Must return HTTP 200 from /robots.txt at the root host
Errori comuni di robots.txt
Errori reali che vediamo ogni settimana. Testa il tuo file con il verificatore robots txt qui sopra prima che danneggi i ranking.
Evita questi errori critici
Riferimento sintassi robots.txt
Tutte le direttive di cui hai bisogno, con esempi funzionanti da copiare nel tuo robots.txt.
User-agent
Indica a quale crawler si applicano le regole seguenti. Usa * per tutti i bot oppure un token come Googlebot, Bingbot, GPTBot o ClaudeBot.
Disallow
Dice al crawler corrispondente di non recuperare alcuna URL che inizi con il percorso dato. Un Disallow vuoto significa consentire tutto. Usa $ per ancorare la fine dell'URL e * per i wildcard.
Allow
Sovrascrive una regola Disallow più ampia per percorsi specifici. Vince il pattern più specifico e, a parità di lunghezza, Allow ha priorità secondo le specifiche di Google.
Sitemap
Indica ai crawler la tua sitemap XML. Sitemap è una direttiva di livello superiore e non è legata a nessun gruppo User-agent. Usa sempre l'URL assoluto.
Crawl-delay
Richiede un numero minimo di secondi tra richieste successive del crawler. Bing, Yandex e Yahoo rispettano questa direttiva; Google no.
# Commenti
Qualsiasi testo dopo un # in una riga viene trattato come commento e ignorato dai crawler. Usalo per documentare perché esiste una regola.
Domande Frequenti
Il tester robots.txt è uno strumento gratuito che ti aiuta a verificare come i motori di ricerca vedono il tuo sito.
Sì, questo strumento è completamente gratuito senza registrazione richiesta.
Inserisci semplicemente l'URL del tuo sito e il nostro strumento recupererà e analizzerà il file robots.txt.
Gestisci la SEO del Tuo Sito con UseClick
Crea un account UseClick gratuito per abbreviare, personalizzare e tracciare tutti i tuoi link.
Amichevole per i crawler
I link brevi rispettano le regole robots e SEO del tuo sito
Domini brandizzati
Usa il tuo dominio invece di bit.ly
Accesso API completo
Automatizza i link in tutti i piani, incluso il gratuito
Pronto per iniziare?
Crea il tuo account gratis e inizia ad accorciare link