Un generador de robots.txt te ayuda a crear un archivo robots.txt correcto para guiar a los rastreadores de motores de búsqueda. SWEDevTools: Prism genera reglas de robots.txt para un user-agent específico, soporta rutas allow/disallow, crawl-delay opcional y una línea de URL de sitemap opcional. Úsalo para bloquear áreas de administración, mantener sitios de staging fuera de los rastreadores o documentar el comportamiento de los crawlers — todo generado localmente en tu navegador como texto plano.
robots.txt controla el rastreo, no necesariamente la indexación. Para prevenir la indexación, también usa headers/meta noindex donde sea apropiado y asegúrate de que las páginas no estén enlazadas públicamente.
En la raíz de tu sitio: https://example.com/robots.txt (no dentro de una subcarpeta).
Las reglas son evaluadas por los rastreadores con sus propias reglas de precedencia; generalmente, un Allow más específico puede anular un Disallow más amplio para un bot dado.
Usa User-agent: * y Disallow: /. Esto bloquea el rastreo en todo el sitio, lo cual es común para entornos de staging pero no recomendado para producción.
Si tienes un sitemap.xml, agregarlo es una buena idea. Ayuda a los rastreadores a descubrir URLs canónicas más rápido.
Este generador se enfoca en una sección de user-agent a la vez. Si necesitas múltiples, genera cada sección y combínalas en un solo archivo robots.txt.
No uniformemente. Algunos rastreadores ignoran Crawl-delay. Si necesitas limitación real de velocidad, usa throttling y caché del lado del servidor.
La herramienta genera salida de texto; deberías validar el resultado solicitando /robots.txt en tu entorno desplegado y probando en equivalentes de Search Console.
smalldev.tools ya no está disponible. Prism de SWEDevTools ofrece las mismas herramientas para desarrolladores y más, con soporte offline, encadenamiento de pipelines y uso completamente gratuito — sin necesidad de registro.