Testen Sie Ihre Robots.txt Datei und sehen Sie, welche Seiten von Suchmaschinen gecrawlt werden können. Optimieren Sie Ihre SEO-Strategie mit korrekten Crawling-Anweisungen.
Zuletzt aktualisiert: Mai 2026
Geben Sie die URL Ihrer robots.txt Datei ein
Leer lassen, um die Startseite (/) zu testen.
Wir prüfen den Pfad anhand der Regeln dieses Crawlers.
Was wir testen
Dein robots.txt-Bericht erscheint hier
Gib eine Domain ein, um zu sehen, welche Pfade Crawler aufrufen dürfen.
Mit UseClick können Sie Ihre SEO-Strategie verbessern und mehr organischen Traffic auf Ihre Website lenken.
Eine Robots.txt Datei ist eine Textdatei, die Suchmaschinen anweist, welche Seiten sie crawlen dürfen und welche nicht. Sie ist ein wichtiges Werkzeug für die SEO Ihrer Website.
Der Robots.txt-Tester hilft Ihnen, Ihre Website zu analysieren und zu optimieren.
Search engines allocate a finite crawl budget to every domain. Disallowing low-value URLs (faceted navigation, internal search, duplicate parameters) frees Googlebot to spend that budget on the pages that actually rank and convert.
Up to 40% of crawl budget is wasted on duplicate URLs (Botify, 2024)
Admin panels, staging environments, checkout funnels, and member-only areas should never appear in search results. Combined with noindex tags, robots.txt is the first line of defense against accidental indexing of sensitive paths.
7% of sites unintentionally expose private URLs in search
robots.txt only works when served from the exact path /robots.txt at the root of the host. A file at /folder/robots.txt is completely ignored by crawlers. Each subdomain needs its own file, and HTTPS and HTTP versions are treated separately.
Must return HTTP 200 from /robots.txt at the root host
Echte Fehler, die wir jede Woche sehen. Testen Sie Ihre Datei mit dem robots.txt-Checker oben, um sie zu finden, bevor sie Ihren Rankings schaden.
Disallow: /
Sperrt Ihre gesamte Website für alle Crawler. Rutscht meist aus der Staging-Umgebung in die Produktion durch.
CSS und JS blockieren
Ein Disallow für /assets/ oder /static/ hindert Google daran, Seiten zu rendern, und schadet so Ihren Rankings.
Falsch eingesetzte Wildcards
Disallow: *.pdf bewirkt nichts. Verwenden Sie Disallow: /*.pdf$, um PDFs auf der gesamten Website zu blockieren.
Falscher Dateipfad
Unter /robots/robots.txt statt unter /robots.txt abgelegt. Crawler werden die Datei nie finden.
Blockieren + Noindex kombiniert
Ist eine Seite per Disallow gesperrt, sieht Google ihr noindex-Tag nicht, und die Seite bleibt im Index.
Groß- und Kleinschreibung in Pfaden
Disallow: /Admin blockiert /admin nicht. Bei Pfaden wird zwischen Groß- und Kleinschreibung unterschieden.
Alle Direktiven, die Sie brauchen, mit funktionierenden Beispielen, die Sie noch heute in Ihre eigene robots.txt übernehmen können.
User-agent: * User-agent: Googlebot Disallow: /private/
Disallow: /admin/ Disallow: /*.pdf$ Disallow: /search?
User-agent: * Disallow: /private/ Allow: /private/public-page.html
Sitemap: https://example.com/sitemap.xml Sitemap: https://example.com/sitemap-images.xml
User-agent: Bingbot Crawl-delay: 10
# Block AI crawlers from training pages User-agent: GPTBot Disallow: / # full site block
Der Robots.txt-Tester ist ein kostenloses Tool, das Ihnen hilft, verschiedene Aspekte Ihrer Website zu analysieren.
Ja, dieses Tool ist völlig kostenlos ohne Anmeldung.
Geben Sie einfach Ihre URL ein und unser Tool analysiert sie und zeigt Ihnen die Ergebnisse.
UseClick hilft Ihnen, alle Ihre Links zu verwalten und zu optimieren. Nutzen Sie unsere Tools, um Ihre Online-Präsenz zu verbessern.
Kurzlinks halten sich an die robots- und SEO-Regeln Ihrer Website
Verwenden Sie Ihre eigene Domain statt bit.ly
Automatisieren Sie Links in jedem Plan, auch im kostenlosen
Prüfen Sie, ob KI-Suchmaschinen wie ChatGPT, Claude, Perplexity und Google Gemini Ihre Website crawlen und indexieren können. Erhalten Sie sofort Ihren KI-Crawlability-Score.
Jetzt nutzenAnalysieren Sie Meta-Tags, Open Graph-Daten und technische SEO-Elemente jeder Website.
Jetzt nutzenAnalysieren Sie HTTP-Header einer URL und identifizieren Sie Sicherheitsprobleme.
Jetzt nutzenUseClick.io macht Link-Management mühelos. Erstelle gebrandete Short Links, die clean, einprägsam und darauf ausgelegt sind, deine Markenidentität zu stärken.
Kostenlos starten
