Gratuito Tool

Tester robots.txt Gratuito - Valida il Tuo File robots.txt

Inserisci un URL del sito per verificare se il file robots.txt è configurato correttamente. Assicurati che i motori di ricerca possano indicizzare le pagine giuste.

Ultimo aggiornamento: Maggio 2026

Strumento Tester robots.txt

Inserisci l'URL principale del sito

Lascia vuoto per testare la homepage (/).

Testiamo il percorso con le regole di questo crawler.

Cosa testiamo

  • Tutti i gruppi User-agent
  • Regole Allow e Disallow
  • Dichiarazioni di sitemap
  • Direttive Crawl-delay
  • Priorità Google del match più lungo

Analisi Robots.txt

Il tuo report robots.txt apparirà qui

Inserisci un dominio per vedere a quali percorsi possono accedere i crawler.

Vuoi migliorare la SEO del tuo sito?

Usa UseClick per creare link brevi che aiutano a guidare il traffico verso il tuo sito.

Crea account gratuito

Cos'è il file robots.txt?

Un file robots.txt è un file di testo collocato nella radice del tuo sito che istruisce i crawler dei motori di ricerca.

Informazioni sul tester robots.txt

Il tester robots.txt ti aiuta ad analizzare e ottimizzare il tuo file robots.txt. Verifica se Google può rastreare le tue pagine.

  • 1. Controls Crawl Budget

    Search engines allocate a finite crawl budget to every domain. Disallowing low-value URLs (faceted navigation, internal search, duplicate parameters) frees Googlebot to spend that budget on the pages that actually rank and convert.

    Up to 40% of crawl budget is wasted on duplicate URLs (Botify, 2024)

  • 2. Prevents Indexing of Private Pages

    Admin panels, staging environments, checkout funnels, and member-only areas should never appear in search results. Combined with noindex tags, robots.txt is the first line of defense against accidental indexing of sensitive paths.

    7% of sites unintentionally expose private URLs in search

  • 3. Must Be at the Domain Root

    robots.txt only works when served from the exact path /robots.txt at the root of the host. A file at /folder/robots.txt is completely ignored by crawlers. Each subdomain needs its own file, and HTTPS and HTTP versions are treated separately.

    Must return HTTP 200 from /robots.txt at the root host

Errori comuni di robots.txt

Errori reali che vediamo ogni settimana. Testa il tuo file con il verificatore robots txt qui sopra prima che danneggi i ranking.

Evita questi errori critici

  • Disallow: /

    Blocca l'intero sito per tutti i crawler. Di solito viene portato per errore da staging a produzione.

  • Blocco di CSS e JS

    Disallow: /assets/ o /static/ impedisce a Google di renderizzare le pagine, danneggiando i ranking.

  • Uso errato dei wildcard

    Disallow: *.pdf non fa nulla. Usa Disallow: /*.pdf$ per bloccare i PDF su tutto il sito.

  • Percorso file errato

    Posizionato in /robots/robots.txt invece che in /robots.txt. I crawler non lo troveranno mai.

  • Blocco + noindex

    Bloccare una pagina impedisce a Google di vedere il tag noindex e può lasciarla indicizzata.

  • Percorsi case-sensitive

    Disallow: /Admin non blocca /admin. I percorsi distinguono maiuscole e minuscole.

Riferimento sintassi robots.txt

Tutte le direttive di cui hai bisogno, con esempi funzionanti da copiare nel tuo robots.txt.

  • User-agent: *
User-agent: Googlebot
Disallow: /private/

    01User-agent

    Indica a quale crawler si applicano le regole seguenti. Usa * per tutti i bot oppure un token come Googlebot, Bingbot, GPTBot o ClaudeBot.
  • Disallow: /admin/
Disallow: /*.pdf$
Disallow: /search?

    02Disallow

    Dice al crawler corrispondente di non recuperare alcuna URL che inizi con il percorso dato. Un Disallow vuoto significa consentire tutto. Usa $ per ancorare la fine dell'URL e * per i wildcard.
  • User-agent: *
Disallow: /private/
Allow: /private/public-page.html

    03Allow

    Sovrascrive una regola Disallow più ampia per percorsi specifici. Vince il pattern più specifico e, a parità di lunghezza, Allow ha priorità secondo le specifiche di Google.
  • Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-images.xml

    04Sitemap

    Indica ai crawler la tua sitemap XML. Sitemap è una direttiva di livello superiore e non è legata a nessun gruppo User-agent. Usa sempre l'URL assoluto.
  • User-agent: Bingbot
Crawl-delay: 10

    05Crawl-delay

    Richiede un numero minimo di secondi tra richieste successive del crawler. Bing, Yandex e Yahoo rispettano questa direttiva; Google no.
  • # Block AI crawlers from training pages
User-agent: GPTBot
Disallow: /  # full site block

    06# Commenti

    Qualsiasi testo dopo un # in una riga viene trattato come commento e ignorato dai crawler. Usalo per documentare perché esiste una regola.
FAQ

Domande Frequenti

Il tester robots.txt è uno strumento gratuito che ti aiuta a verificare come i motori di ricerca vedono il tuo sito.

Sì, questo strumento è completamente gratuito senza registrazione richiesta.

Inserisci semplicemente l'URL del tuo sito e il nostro strumento recupererà e analizzerà il file robots.txt.

Gestisci la SEO del Tuo Sito con UseClick

Crea un account UseClick gratuito per abbreviare, personalizzare e tracciare tutti i tuoi link.

  • Amichevole per i crawler

    I link brevi rispettano le regole robots e SEO del tuo sito

  • Domini brandizzati

    Usa il tuo dominio invece di bit.ly

  • Accesso API completo

    Automatizza i link in tutti i piani, incluso il gratuito

Inizia gratis
  • Inizia gratis
  • Nessuna carta di credito richiesta
  • Ultimo aggiornamento: Maggio 2026
Gratuito Tool

Strumenti Correlati

All Gratuito Tools

Pronto per iniziare?

Crea il tuo account gratis e inizia ad accorciare link

Inizia gratis