Skip to content

Generador de robots.txt

Genera un borrador de robots.txt con reglas para agentes y rutas. Revisa cada directiva antes de publicarla en la raíz de tu dominio.

  • Gratis
  • Sin registro
  • Funciona en tu navegador

Create a robots.txt text file for your site. Rules guide cooperative crawlers; they do not secure private content.

User-agent: *
Allow: /

El contenido se procesa en tu navegador y no se envía a Smart Online Tools.

Cómo usar la herramienta

  1. Introduce el contenido o los valores que quieras procesar.
  2. Elige las opciones disponibles y ejecuta la herramienta.
  3. Revisa el resultado y cópialo o descárgalo si lo necesitas.

Ten en cuenta: Los datos se procesan en este navegador. Revisa el resultado antes de utilizarlo o compartirlo.

Límites: El rendimiento y los formatos compatibles dependen del navegador, el dispositivo y el contenido introducido.

Robots.txt es una solicitud de rastreo

Las reglas robots.txt indican a los rastreadores compatibles qué rutas pueden solicitar. No protegen contenido privado ni sustituyen controles de acceso; una URL bloqueada todavía puede aparecer en resultados si otros sitios la enlazan.

Prueba las reglas y comprueba que no bloqueen recursos necesarios para mostrar tu sitio. Guarda el archivo como robots.txt en la raíz del dominio y revisa su disponibilidad pública.

Cómo se usa robots.txt

El archivo robots.txt se coloca en la raíz del dominio (por ejemplo ejemplo.com/robots.txt) e indica a los rastreadores que respetan el estándar qué rutas pueden solicitar. Las reglas se agrupan por User-agent: Disallow bloquea rutas y Allow crea excepciones. La línea Sitemap indica dónde está tu mapa del sitio XML.

Bloquear una página en robots.txt impide rastrearla, no indexarla: una URL bloqueada puede aparecer en resultados si otros sitios la enlazan. Para excluirla de los resultados, permite el rastreo y usa una etiqueta noindex, o protégela con contraseña. No incluyas rutas secretas, porque el archivo es público, y ten cuidado con Disallow: / bajo User-agent: *, que pide a todos los rastreadores ignorar el sitio entero.

Preguntas frecuentes

¿Robots.txt elimina una página de Google?

No. Controla el rastreo, pero no garantiza que una URL desaparezca del índice.

¿Puedo bloquear una carpeta privada?

No lo uses para proteger datos. Restringe el acceso con autenticación y controles del servidor.

Más herramientas