Gratuit Tool

Testeur Robots.txt Gratuit - Testez Votre Robots.txt

Testez votre fichier robots.txt et voyez quelles pages peuvent être explorées par les moteurs de recherche. Optimisez votre stratégie SEO avec des instructions de crawl correctes.

Dernière mise à jour: Mai 2026

Testeur Robots.txt

Entrez l URL de votre fichier robots.txt

Laissez vide pour tester la page d'accueil (/).

Nous testons le chemin selon les règles de ce robot.

Ce que nous testons

  • Tous les groupes User-agent
  • Règles Allow et Disallow
  • Déclarations de sitemap
  • Directives Crawl-delay
  • Priorité Google du match le plus long

Analyse Robots.txt

Votre rapport robots.txt apparaîtra ici

Saisissez un domaine pour voir quels chemins les robots peuvent explorer.

Vous souhaitez ameliorer le SEO de votre site web?

Avec UseClick, vous pouvez ameliorer votre strategie SEO et attirer plus de trafic organique sur votre site web.

Créer un compte gratuit

Qu'est-ce qu'un fichier robots.txt?

Un fichier Robots.txt est un fichier texte qui indique aux moteurs de recherche quelles pages ils peuvent crawler et lesquelles non. C'est un outil important pour le SEO de votre site web.

Ce que vous apprendrez

Testez comment les robots des moteurs de recherche interagissent avec un site web en vérifiant les règles robots.txt.

  • 1. Controls Crawl Budget

    Search engines allocate a finite crawl budget to every domain. Disallowing low-value URLs (faceted navigation, internal search, duplicate parameters) frees Googlebot to spend that budget on the pages that actually rank and convert.

    Up to 40% of crawl budget is wasted on duplicate URLs (Botify, 2024)

  • 2. Prevents Indexing of Private Pages

    Admin panels, staging environments, checkout funnels, and member-only areas should never appear in search results. Combined with noindex tags, robots.txt is the first line of defense against accidental indexing of sensitive paths.

    7% of sites unintentionally expose private URLs in search

  • 3. Must Be at the Domain Root

    robots.txt only works when served from the exact path /robots.txt at the root of the host. A file at /folder/robots.txt is completely ignored by crawlers. Each subdomain needs its own file, and HTTPS and HTTP versions are treated separately.

    Must return HTTP 200 from /robots.txt at the root host

Erreurs courantes dans le robots.txt

De vraies erreurs que nous voyons chaque semaine. Testez votre fichier avec le testeur robots.txt ci-dessus pour les repérer avant qu'elles ne nuisent à votre classement.

Évitez ces erreurs critiques

  • Disallow: /

    Bloque l'intégralité de votre site pour tous les crawlers. En général, une règle de préproduction passée en production par erreur.

  • Bloquer le CSS et le JS

    Interdire /assets/ ou /static/ empêche Google d'effectuer le rendu de vos pages, ce qui nuit à leur classement.

  • Mauvais usage des jokers

    Disallow: *.pdf ne fait rien. Utilisez Disallow: /*.pdf$ pour bloquer les PDF sur tout le site.

  • Mauvais chemin de fichier

    Placé dans /robots/robots.txt au lieu de /robots.txt. Les crawlers ne le trouveront jamais.

  • Blocage + noindex combinés

    Bloquer une page empêche Google de voir sa balise noindex, et la page reste donc indexée.

  • Chemins sensibles à la casse

    Disallow: /Admin ne bloque pas /admin. Les chemins sont sensibles à la casse.

Référence de syntaxe robots.txt

Toutes les directives dont vous avez besoin, avec des exemples fonctionnels à copier dès aujourd'hui dans votre propre robots.txt.

  • User-agent: *
User-agent: Googlebot
Disallow: /private/

    01User-agent

    Indique à quel crawler s'appliquent les règles qui suivent. Utilisez * pour tous les bots, ou indiquez un token de produit précis comme Googlebot, Bingbot, GPTBot ou ClaudeBot. Plusieurs lignes User-agent peuvent se suivre pour partager un même bloc de règles.
  • Disallow: /admin/
Disallow: /*.pdf$
Disallow: /search?

    02Disallow

    Indique au crawler concerné de ne récupérer aucune URL commençant par le chemin donné. Un Disallow vide signifie que tout est autorisé. Utilisez $ pour ancrer la fin de l'URL et * comme joker.
  • User-agent: *
Disallow: /private/
Allow: /private/public-page.html

    03Allow

    Remplace une règle Disallow plus large pour des chemins précis. Le motif le plus spécifique (le plus long) l'emporte, et lorsque Allow et Disallow ont la même longueur, Allow a la priorité selon la spécification de Google.
  • Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-images.xml

    04Sitemap

    Indique aux crawlers l'emplacement de votre sitemap XML. Sitemap est une directive de premier niveau (non liée à un groupe User-agent) et vous pouvez déclarer plusieurs sitemaps. Utilisez toujours l'URL absolue.
  • User-agent: Bingbot
Crawl-delay: 10

    05Crawl-delay

    Demande un nombre minimum de secondes entre deux requêtes successives d'un crawler. Bing, Yandex et Yahoo respectent cette directive, mais pas Google (utilisez plutôt le paramètre de vitesse d'exploration dans la Search Console).
  • # Block AI crawlers from training pages
User-agent: GPTBot
Disallow: /  # full site block

    06# Commentaires

    Tout texte placé après un # sur une ligne est traité comme un commentaire et ignoré par les crawlers. Utilisez les commentaires pour expliquer pourquoi une règle existe, afin que les futurs mainteneurs ne la suppriment pas par accident.
FAQ

Questions Fréquentes

Un fichier robots.txt indique aux robots des moteurs de recherche quels chemins ils peuvent explorer sur un site.

Oui, notre testeur robots.txt est 100% gratuit.

Entrez une URL et cliquez sur Tester. Vous verrez si le chemin est autorisé ou bloqué pour différents user-agents.

Gérez Vos Liens Efficacement avec UseClick

UseClick vous aide à gérer et optimiser tous vos liens. Profitez de nos outils pour améliorer votre présence en ligne.

  • Compatible crawlers

    Les liens courts respectent les règles robots et SEO de votre site

  • Domaines de marque

    Utilisez votre propre domaine au lieu de bit.ly

  • Accès API complet

    Automatisez les liens sur tous les plans, y compris le gratuit

Commencer gratuitement
  • Commencer gratuitement
  • Aucune carte bancaire requise
  • Dernière mise à jour: Mai 2026
Gratuit Tool

Outils gratuits associes

All Gratuit Tools

Pret a commencer?

Creez votre compte gratuit et commencez a raccourcir des liens

Commencez gratuitement