Startseite › Entwickler-Tools › Robots.txt-Generator

Robots.txt-Generator

Erstelle eine robots.txt-Datei mit Allow- und Disallow-Regeln für jeden Crawler, füge deine Sitemap hinzu und blockiere KI-Trainings- oder KI-Such-Bots mit fertigen Vorlagen. Teste danach jede URL, um zu sehen, ob ein Bot sie crawlen darf.

Zuletzt aktualisiert:

1. Alle Crawler User-agent: *

2. Bestimmte Crawler

3. KI-Crawler

4. Sitemaps

robots.txt

URL testen

Anzeige
Anzeige

Anleitung: Robots.txt-Generator

  1. Wähle die Standardeinstellung für alle Crawler: alles erlauben, alles blockieren oder eigene Allow- und Disallow-Regeln hinzufügen.
  2. Füge Gruppen für bestimmte Bots hinzu, wenn ein Crawler wie Googlebot-Image andere Regeln braucht.
  3. Wähle die zu blockierenden KI-Crawler. Nutze Alle KI-Bots blockieren, Nur KI-Training blockieren oder hake einzelne Bots an.
  4. Füge deine Sitemap-URL hinzu, damit Suchmaschinen alle deine Seiten finden.
  5. Teste eine URL für einen beliebigen Bot, dann kopiere die robots.txt oder lade sie herunter und lade sie in das Stammverzeichnis deiner Website hoch.

Robots.txt-Syntaxreferenz

DirektiveBeispielBedeutung
User-agentUser-agent: GPTBotBeginnt eine Regelgruppe für den genannten Crawler; * steht für jeden Crawler ohne eigene Gruppe
DisallowDisallow: /admin/URLs, deren Pfad mit /admin/ beginnt, nicht crawlen
AllowAllow: /admin/help/Ausnahme innerhalb eines gesperrten Ordners
Platzhalter *Disallow: /*?sort=Beliebige Zeichen: blockiert jede URL, die ?sort= enthält
Endanker $Disallow: /*.pdf$Nur URLs, die auf .pdf enden
SitemapSitemap: https://example.com/sitemap.xmlSpeicherort einer Sitemap; muss eine vollständige URL sein, kann überall stehen
Crawl-delayCrawl-delay: 5Sekunden zwischen Anfragen (Bing, Yandex); Google ignoriert es

Welche Regel gewinnt?

Nach dem Robots Exclusion Protocol (RFC 9309), dem Google und Bing folgen, wählt ein Crawler zuerst die spezifischste Gruppe, die ihn nennt. Googlebot-Image verwendet eine Googlebot-Image-Gruppe, falls vorhanden, sonst eine Googlebot-Gruppe, sonst *. Er kombiniert seine eigene Gruppe nicht mit der *-Gruppe. Innerhalb der gewählten Gruppe gewinnt die Regel mit dem längsten passenden Pfad, und sind eine Allow- und eine Disallow-Regel gleich lang, gewinnt Allow.

Durchgerechnetes Beispiel mit diesen Regeln für User-agent: *:

URL-PfadPassende RegelnErgebnis
/shop/keineErlaubt
/admin/usersDisallow: /admin/ (7 Zeichen)Blockiert
/admin/help/faqDisallow: /admin/ (7) und Allow: /admin/help/ (12)Erlaubt (längere Regel)
/files/report.pdfDisallow: /*.pdf$Blockiert
/files/report.pdf?v=2keine (die URL endet nicht auf .pdf)Erlaubt

Füge dieselben Regeln in den Tester oben ein, um jede URL gegen deine eigene Datei zu prüfen.

KI-Crawler blockieren: Was du wissen solltest

  • Training oder Suche. Bots wie GPTBot, ClaudeBot, CCBot und Google-Extended sammeln Inhalte zum Trainieren von Modellen. Bots wie OAI-SearchBot, Claude-SearchBot und PerplexityBot liefern KI-Suchantworten, die auf dich zurückverlinken können. Blockiere nur die erste Art, wenn du in der KI-Suche sichtbar bleiben willst.
  • Von Nutzern angeforderte Abrufe (ChatGPT-User, Claude-User, Perplexity-User) besuchen eine Seite, weil eine Person danach gefragt hat. Unternehmen behandeln diese unterschiedlich, und manche geben an, robots.txt darauf möglicherweise nicht anzuwenden.
  • Google-Extended und Applebot-Extended sind Tokens, keine eigenen Crawler. Sie zu blockieren, wirkt sich nicht auf die Google-Suche oder Apple-Suchergebnisse aus.
  • Robots.txt ist freiwillig. Seriöse Crawler halten sich daran, aber es ist keine Zugriffskontrolle. Verwende Serverregeln oder Authentifizierung für Inhalte, die privat bleiben müssen.
  • Google liest höchstens 500 KiB einer robots.txt-Datei, und neue Regeln greifen meist innerhalb eines Tages, wenn die zwischengespeicherte Kopie aktualisiert wird.

Häufige Fragen

Wo lege ich die robots.txt ab?

Im Stammordner deiner Website, sodass sie unter https://www.example.com/robots.txt geladen wird. Crawler suchen nur dort. Jede Subdomain und jedes Protokoll (http und https) braucht eine eigene Datei.

Hält robots.txt KI-Unternehmen davon ab, meine Inhalte zu nutzen?

Es funktioniert bei Crawlern, die sie respektieren. OpenAI (GPTBot), Anthropic (ClaudeBot), Google (Google-Extended), Apple (Applebot-Extended), Common Crawl (CCBot) und andere erklären öffentlich, dass sie robots.txt befolgen. Sie ist eine Bitte, kein Schloss: Bereits gesammelte Inhalte werden nicht entfernt, und Crawler, die sie ignorieren, werden nicht aufgehalten.

Schadet das Blockieren von KI-Bots meinem Google-Ranking?

Nein. Google-Extended und Applebot-Extended steuern nur KI-Training und Grounding; Googlebot und Applebot crawlen weiterhin für die Suche. Das Blockieren von KI-Such-Bots wie OAI-SearchBot oder PerplexityBot kann deine Seiten aus diesen KI-Suchprodukten entfernen, blockiere also nur die Trainings-Bots, wenn du dort weiter erscheinen willst.

Kann robots.txt eine Seite vor Google verbergen?

Nicht zuverlässig. Disallow verhindert das Crawlen, aber eine blockierte URL kann trotzdem indexiert werden, wenn andere Websites darauf verlinken, meist ohne Beschreibung. Um eine Seite aus den Suchergebnissen herauszuhalten, erlaube das Crawlen und verwende stattdessen ein noindex-Meta-Tag oder einen X-Robots-Tag-Header.

Was bedeuten * und $ in robots.txt?

Ein Sternchen steht für eine beliebige Zeichenfolge, und ein Dollarzeichen markiert das Ende der URL. Zum Beispiel blockiert Disallow: /*.pdf$ jede URL, die auf .pdf endet, und Disallow: /*? jede URL, die einen Query-String enthält.

Unterstützt Google Crawl-delay?

Nein. Googlebot ignoriert Crawl-delay; Google passt seine Crawling-Frequenz automatisch an. Bing und Yandex lesen den Wert als Anzahl der Sekunden zwischen Anfragen.

Werden alle Tools auf FreeToolCabin auf Qualität und Genauigkeit getestet?

Ja. Jedes Tool auf der Website durchläuft automatische Tests in echten Browsern, die prüfen, ob das Ergebnis stimmt und keine Fehler auftreten. Wenn du einen Fehler findest oder einen Vorschlag hast, schreib uns an [email protected] – wir sehen es uns an.

Ähnliche Tools

Alle SEO- & Marketing-Tools ansehen →