Probador Robots.txt Gratuito - Pruebe Su Robots.txt
Pruebe su archivo robots.txt y vea qué páginas pueden ser rastreadas por los motores de búsqueda. Optimice su estrategia de SEO con instrucciones de crawl correctas.
Última actualización: Mayo 2026
Probador Robots.txt
Ingrese la URL de su archivo robots.txt
ej: /api o /productos
ej: Googlebot, Bingbot
Lo que probamos
- Todos los grupos User-agent
- Reglas Allow y Disallow
- Declaraciones de sitemap
- Directivas Crawl-delay
- Prioridad de coincidencia más larga de Google
Análisis de Robots.txt
El análisis aparecerá aquí
Ingresa una URL
Quieres mejorar el SEO de tu sitio web?
Con UseClick, puedes mejorar tu estrategia de SEO y dirigir mas trafico organico a tu sitio web.
¿Qué es un archivo robots.txt?
Un archivo Robots.txt es un archivo de texto que instruye a los motores de busqueda sobre que paginas pueden rastrear y cuales no. Es una herramienta importante para el SEO de tu sitio web.
Lo que aprenderá
El probador de robots.txt te ayuda a analizar y optimizar tu archivo robots.txt. Verifica si Google puede rastrear tus páginas.
1. Controls Crawl Budget
Search engines allocate a finite crawl budget to every domain. Disallowing low-value URLs (faceted navigation, internal search, duplicate parameters) frees Googlebot to spend that budget on the pages that actually rank and convert.
Up to 40% of crawl budget is wasted on duplicate URLs (Botify, 2024)
2. Prevents Indexing of Private Pages
Admin panels, staging environments, checkout funnels, and member-only areas should never appear in search results. Combined with noindex tags, robots.txt is the first line of defense against accidental indexing of sensitive paths.
7% of sites unintentionally expose private URLs in search
3. Must Be at the Domain Root
robots.txt only works when served from the exact path /robots.txt at the root of the host. A file at /folder/robots.txt is completely ignored by crawlers. Each subdomain needs its own file, and HTTPS and HTTP versions are treated separately.
Must return HTTP 200 from /robots.txt at the root host
Errores comunes de robots.txt
Errores reales que vemos cada semana. Pruebe su archivo con el verificador de robots txt de arriba antes de que afecte sus rankings.
Evite estos errores críticos
Referencia de sintaxis robots.txt
Todas las directivas que necesita, con ejemplos funcionales que puede copiar en su robots.txt.
User-agent
Indica a qué crawler se aplican las reglas siguientes. Use * para todos los bots o un token de producto como Googlebot, Bingbot, GPTBot o ClaudeBot.
Disallow
Indica al crawler correspondiente que no recupere ninguna URL que comience con la ruta dada. Un Disallow vacío significa permitir todo. Use $ para anclar el final de la URL y * para comodines.
Allow
Anula una regla Disallow más amplia para rutas específicas. Gana el patrón más específico y, si empatan en longitud, Allow tiene prioridad según la especificación de Google.
Sitemap
Dirige a los crawlers a su sitemap XML. Sitemap es una directiva de nivel superior y no depende de ningún grupo User-agent. Use siempre la URL absoluta.
Crawl-delay
Solicita un mínimo de segundos entre peticiones sucesivas del crawler. Bing, Yandex y Yahoo respetan esta directiva; Google no.
# Comments
Cualquier texto después de # en una línea se trata como comentario e ignora los crawlers. Use comentarios para documentar por qué existe una regla.
Preguntas Frecuentes
El probador de robots.txt es una herramienta gratuita que te ayuda a verificar cómo los motores de búsqueda ven tu sitio.
Sí, esta herramienta es completamente gratuita sin registro requerido.
Simplemente ingresa la URL de tu sitio y nuestra herramienta obtendrá y analizará el archivo robots.txt.
Gestione Sus Links Eficientemte con UseClick
UseClick lo ayuda a gestionar y optimizar todos sus links. Aproveche nuestras herramientas para mejorar su presencia en línea.
Amigable con crawlers
Los links cortos respetan las reglas robots y SEO de su sitio
Dominios de marca
Use su propio dominio en lugar de bit.ly
Acceso completo a la API
Automatice enlaces en todos los planes, incluido el gratuito
Herramientas gratuitas relacionadas
Listo para empezar?
Crea tu cuenta gratis y empieza a acortar enlaces