AI Crawler schaltet um
Blockieren Sie Trainings-Bots wie GPTBot und ClaudeBot mit einem Klick, während die Abruf-Bots allow für die Sichtbarkeit der KI-Suche aktiviert bleiben.
Kostenlos Robots.txt Generator
TL;DR: Robots.txt Generator hilft Ihnen beim Erstellen von robots.txt-Dateien mit Pro-Bot-Regeln und AI crawler-Steuerelementen. Führen Sie die Prüfung sofort durch, überprüfen Sie priorisierte Ergebnisse und wenden Sie Korrekturen an, die die crawl-Qualität, die Extrahierbarkeit von Antworten und die KI-Zitierbereitschaft verbessern, ohne dass Anmeldebarrieren entstehen.
Legen Sie crawl-Regeln pro Bot fest, blockieren Sie KI-Trainings-Scraper mit einem Klick und fügen Sie sitemap-Anweisungen hinzu.
Aktualisiert March 5, 2026
Loading tool interface...
Pro-Bot-Regelblöcke KI-Trainingsbot-Voreinstellung Allow/Disallow-Builder Sitemap-Anweisungen Live-Ausgabevorschau
Was ist Robots.txt Generator?
Der Robots.txt Generator erstellt über eine formularbasierte Schnittstelle eine gültige robots.txt-Datei. Sie fügen User-agent-Blöcke hinzu, legen Allow- und Disallow-Pfade fest, schalten KI-Trainingsbots ein oder aus und fügen Sitemap-Anweisungen hinzu. Die Ausgabe wird während der Bearbeitung live aktualisiert.
Warum es für SEO wichtig ist: Eine einzelne falsche Disallow-Zeile kann Ihre besten Seiten vor Google verbergen. Durch das Erstellen von Regeln über ein geführtes Formular entfällt das Rätselraten um die Syntax und Sie können jede Direktive vor dem Versand überprüfen.
KI Crawler-Steuerung: Blockiert trainingsspezifische Bots (GPTBot, Google-Extended, ClaudeBot, CCBot, Bytespider), während Abruf-Bots (ChatGPT-User, Claude-SearchBot, PerplexityBot) beibehalten werden. allowed. Eine Taste fügt den vollständigen Satz hinzu.
Multi-Bot-Präzision: Geben Sie dem Googlebot breiten Zugriff, beschränken Sie interne Werkzeugpfade von Bingbot und blockieren Sie Scraper entirely. Jeder Bot erhält seinen eigenen Regelblock.
Sitemap-Erkennung: Hängen Sie eine oder mehrere Sitemap-Anweisungen an, damit crawlers Ihre XML sitemaps findet, ohne von Search Console-Übermittlungen abhängig zu sein.
So verwenden Sie dieses Tool
- 1 Schalten Sie Bots in jeder Gruppe ein oder aus oder verwenden Sie Allow alle/Alle pro Gruppe blockieren.
- 2 Fügen Sie alle zu blockierenden Pfade von allen crawlers im Feld Disallow-Pfade hinzu.
- 3 Fügen Sie Ihren sitemap URL ein und fügen Sie bei Bedarf Extras hinzu.
- 4 Kopieren Sie die Live-Ausgabe als robots.txt in Ihr Domänenstammverzeichnis.
Was Sie bekommen
Pro-Bot-Regelgenerator
Erstellen Sie separate User-agent-Blöcke mit unabhängigen Allow/Disallow-Pfaden für Googlebot, Bingbot oder einen beliebigen benutzerdefinierten crawler.
Live-Vorschau
Sehen Sie sich das generierte robots.txt-Update in Echtzeit an, während Sie Regeln hinzufügen. Kopieren Sie die Ausgabe, wenn sie richtig aussieht.
Frequently Asked Questions
Antworten zu Robots.txt Generator
Fügen Sie einen User-agent-Block hinzu, legen Sie die Pfade Allow und Disallow fest und kopieren Sie die Ausgabe. Laden Sie die Datei in Ihr Domänenstammverzeichnis (example.com/robots.txt) hoch, damit crawlers sie beim nächsten Besuch lesen kann.
Verwenden Sie die Schaltfläche „KI-Trainingsbots blockieren“, um Disallow-Regeln für GPTBot, Google-Extended, ClaudeBot, CCBot und Bytespider hinzuzufügen. Diese Bots scrapen Inhalte für das Modelltraining. Retrieval-Bots wie ChatGPT-User und Claude-SearchBot liefern Live-Suchergebnisse und können allowed bleiben.
Nein. Robots.txt steuert crawling, nicht indexing. Suchmaschinen können weiterhin index und URL über externe Links entdecken, selbst wenn robots.txt crawling blockiert. Verwenden Sie ein noindex-Meta-Tag oder einen X-Robots-Tag-Header, um indexing zu verhindern.
Ja. Eine Sitemap-Anweisung hilft crawlers, Ihr XML sitemap zu finden, ohne relying allein auf Search Console. Platzieren Sie es am Ende der Datei. Sie können mehrere sitemaps auflisten, wenn Ihre Site sitemap indexs verwendet.