Gratis Tool

Probador Robots.txt Gratuito - Pruebe Su Robots.txt

Pruebe su archivo robots.txt y vea qué páginas pueden ser rastreadas por los motores de búsqueda. Optimice su estrategia de SEO con instrucciones de crawl correctas.

Última actualización: Mayo 2026

Probador Robots.txt

Ingrese la URL de su archivo robots.txt

Déjalo vacío para probar la página de inicio (/).

Probamos la ruta con las reglas de este rastreador.

Lo que probamos

  • Todos los grupos User-agent
  • Reglas Allow y Disallow
  • Declaraciones de sitemap
  • Directivas Crawl-delay
  • Prioridad de coincidencia más larga de Google

Análisis de Robots.txt

Tu informe de robots.txt aparecerá aquí

Ingresa un dominio para ver a qué rutas pueden acceder los rastreadores.

Quieres mejorar el SEO de tu sitio web?

Con UseClick, puedes mejorar tu estrategia de SEO y dirigir mas trafico organico a tu sitio web.

Crear cuenta gratuita

¿Qué es un archivo robots.txt?

Un archivo Robots.txt es un archivo de texto que instruye a los motores de busqueda sobre que paginas pueden rastrear y cuales no. Es una herramienta importante para el SEO de tu sitio web.

Lo que aprenderá

El probador de robots.txt te ayuda a analizar y optimizar tu archivo robots.txt. Verifica si Google puede rastrear tus páginas.

  • 1. Controls Crawl Budget

    Search engines allocate a finite crawl budget to every domain. Disallowing low-value URLs (faceted navigation, internal search, duplicate parameters) frees Googlebot to spend that budget on the pages that actually rank and convert.

    Up to 40% of crawl budget is wasted on duplicate URLs (Botify, 2024)

  • 2. Prevents Indexing of Private Pages

    Admin panels, staging environments, checkout funnels, and member-only areas should never appear in search results. Combined with noindex tags, robots.txt is the first line of defense against accidental indexing of sensitive paths.

    7% of sites unintentionally expose private URLs in search

  • 3. Must Be at the Domain Root

    robots.txt only works when served from the exact path /robots.txt at the root of the host. A file at /folder/robots.txt is completely ignored by crawlers. Each subdomain needs its own file, and HTTPS and HTTP versions are treated separately.

    Must return HTTP 200 from /robots.txt at the root host

Errores comunes de robots.txt

Errores reales que vemos cada semana. Pruebe su archivo con el verificador de robots txt de arriba antes de que afecte sus rankings.

Evite estos errores críticos

  • Disallow: /

    Bloquea todo su sitio para todos los crawlers. Suele filtrarse de staging a producción.

  • Bloquear CSS y JS

    Disallow: /assets/ o /static/ impide que Google renderice páginas, lo que daña el ranking.

  • Uso incorrecto de wildcard

    Disallow: *.pdf no hace nada. Use Disallow: /*.pdf$ para bloquear PDFs en todo el sitio.

  • Ruta de archivo incorrecta

    Colocado en /robots/robots.txt en vez de /robots.txt. Los crawlers nunca lo encontrarán.

  • Bloqueo + noindex

    Bloquear una página impide que Google vea su etiqueta noindex y puede dejarla indexada.

  • Rutas sensibles a mayúsculas

    Disallow: /Admin no bloquea /admin. Las rutas distinguen mayúsculas y minúsculas.

Referencia de sintaxis robots.txt

Todas las directivas que necesita, con ejemplos funcionales que puede copiar en su robots.txt.

  • User-agent: *
User-agent: Googlebot
Disallow: /private/

    01User-agent

    Indica a qué crawler se aplican las reglas siguientes. Use * para todos los bots o un token de producto como Googlebot, Bingbot, GPTBot o ClaudeBot.
  • Disallow: /admin/
Disallow: /*.pdf$
Disallow: /search?

    02Disallow

    Indica al crawler correspondiente que no recupere ninguna URL que comience con la ruta dada. Un Disallow vacío significa permitir todo. Use $ para anclar el final de la URL y * para comodines.
  • User-agent: *
Disallow: /private/
Allow: /private/public-page.html

    03Allow

    Anula una regla Disallow más amplia para rutas específicas. Gana el patrón más específico y, si empatan en longitud, Allow tiene prioridad según la especificación de Google.
  • Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-images.xml

    04Sitemap

    Dirige a los crawlers a su sitemap XML. Sitemap es una directiva de nivel superior y no depende de ningún grupo User-agent. Use siempre la URL absoluta.
  • User-agent: Bingbot
Crawl-delay: 10

    05Crawl-delay

    Solicita un mínimo de segundos entre peticiones sucesivas del crawler. Bing, Yandex y Yahoo respetan esta directiva; Google no.
  • # Block AI crawlers from training pages
User-agent: GPTBot
Disallow: /  # full site block

    06# Comments

    Cualquier texto después de # en una línea se trata como comentario e ignora los crawlers. Use comentarios para documentar por qué existe una regla.
FAQ

Preguntas Frecuentes

El probador de robots.txt es una herramienta gratuita que te ayuda a verificar cómo los motores de búsqueda ven tu sitio.

Sí, esta herramienta es completamente gratuita sin registro requerido.

Simplemente ingresa la URL de tu sitio y nuestra herramienta obtendrá y analizará el archivo robots.txt.

Gestione Sus Links Eficientemte con UseClick

UseClick lo ayuda a gestionar y optimizar todos sus links. Aproveche nuestras herramientas para mejorar su presencia en línea.

  • Amigable con crawlers

    Los links cortos respetan las reglas robots y SEO de su sitio

  • Dominios de marca

    Use su propio dominio en lugar de bit.ly

  • Acceso completo a la API

    Automatice enlaces en todos los planes, incluido el gratuito

Empieza gratis
  • Empieza gratis
  • No se requiere tarjeta de crédito
  • Última actualización: Mayo 2026
Gratis Tool

Herramientas gratuitas relacionadas

All Gratis Tools

Listo para empezar?

Crea tu cuenta gratis y empieza a acortar enlaces

Empieza gratis