Ein robots.txt-Generator hilft Ihnen, eine korrekte robots.txt-Datei zu erstellen, um Suchmaschinen-Crawler zu steuern. SWEDevTools: Prism generiert robots.txt-Regeln für einen bestimmten User-Agent, unterstützt Allow-/Disallow-Pfade, optionales Crawl-Delay und eine optionale Sitemap-URL-Zeile. Verwenden Sie es, um Admin-Bereiche zu blockieren, Staging-Sites von Crawlern fernzuhalten oder das Crawler-Verhalten zu dokumentieren — alles lokal in Ihrem Browser als reiner Text generiert.
robots.txt steuert das Crawling, nicht unbedingt die Indexierung. Um die Indexierung zu verhindern, verwenden Sie zusätzlich noindex-Header/Meta-Tags und stellen Sie sicher, dass Seiten nicht öffentlich verlinkt sind.
Im Stammverzeichnis Ihrer Website: https://example.com/robots.txt (nicht in einem Unterordner).
Regeln werden von Crawlern mit eigenen Vorrangregeln ausgewertet; im Allgemeinen kann ein spezifischeres Allow ein breiteres Disallow für einen bestimmten Bot überschreiben.
Verwenden Sie User-agent: * und Disallow: /. Dies blockiert das Crawling seitenweit und ist für Staging-Umgebungen üblich, wird aber für die Produktion nicht empfohlen.
Wenn Sie eine sitemap.xml haben, ist es eine gute Idee, sie hinzuzufügen. Sie hilft Crawlern, kanonische URLs schneller zu entdecken.
Dieser Generator konzentriert sich auf jeweils einen User-Agent-Abschnitt. Wenn Sie mehrere benötigen, generieren Sie jeden Abschnitt einzeln und kombinieren Sie sie in einer robots.txt-Datei.
Nicht einheitlich. Einige Crawler ignorieren Crawl-Delay. Wenn Sie echtes Rate-Limiting benötigen, verwenden Sie serverseitiges Throttling und Caching.
Das Tool generiert Textausgabe; Sie sollten das Ergebnis validieren, indem Sie /robots.txt in Ihrer bereitgestellten Umgebung abrufen und in der Search Console testen.
smalldev.tools ist nicht mehr verfügbar. Prism von SWEDevTools bietet dieselben Entwicklertools und mehr, mit Offline-Unterstützung, Pipeline-Verkettung und vollständig kostenloser Nutzung — keine Registrierung erforderlich.