Robots.txt-Tester
Füge eine robots.txt-Datei ein, gib eine oder mehrere URLs ein und wähle einen Crawler. Der Tester wendet die Abgleichregeln von Google (RFC 9309) an: Er wählt die passende User-Agent-Gruppe, findet die längste passende Regel, hebt sie hervor und markiert Syntaxprobleme in der Datei.
Zuletzt aktualisiert:
Ergebnisse
Dateiprüfung
Crawler vergleichen
Anleitung: Robots.txt-Tester
- Füge deine robots.txt in den Editor ein (öffne deineseite.de/robots.txt in einem neuen Tab und kopiere sie) oder bearbeite das Beispiel.
- Gib URLs oder Pfade ein, die getestet werden sollen, eine pro Zeile. Vollständige URLs und Pfade wie /admin/ funktionieren beide.
- Wähle einen Crawler wie Googlebot oder gib einen eigenen User-Agent ein.
- Klicke auf „URLs prüfen“. Jede URL zeigt „Erlaubt“ oder „Blockiert“ mit der genauen Regel und Zeilennummer, die entschieden hat, hervorgehoben im Editor.
- Korrigieren und erneut testen: Die Ergebnisse aktualisieren sich während der Eingabe, und die Tabelle „Crawler vergleichen“ zeigt, wie jeder Bot die erste URL behandelt.
So werden robots.txt-Regeln abgeglichen
Der Tester folgt dem Robots Exclusion Protocol, wie es in RFC 9309 standardisiert und von Google umgesetzt ist:
- Eine Gruppe wählen. Der Crawler sucht nach Gruppen, deren
User-agent-Name mit seinem eigenen übereinstimmt (ohne Beachtung der Groß- und Kleinschreibung). Gibt es keine, verwendet er die GruppeUser-agent: *. Mehrere Gruppen für denselben Namen werden zusammengeführt. Es gilt immer nur eine Gruppe. - Passende Regeln finden. Jeder
Allow- undDisallow-Pfad wird mit dem Anfang des URL-Pfads samt Query-String verglichen. Beim Abgleich wird zwischen Groß- und Kleinschreibung unterschieden. - Die längste Regel gewinnt. Die Regel mit dem längsten Pfad (in Zeichen) entscheidet. Haben eine Allow- und eine Disallow-Regel die gleiche Länge, gewinnt Allow.
- Kein Treffer bedeutet erlaubt.
/robots.txtselbst ist immer erlaubt.
Musterbeispiele
| Regel | Blockiert | Blockiert nicht |
|---|---|---|
Disallow: /admin | /admin, /admin/, /admin.php, /administrator | /Admin, /blog/admin |
Disallow: /admin/ | /admin/, /admin/users | /admin, /administrator |
Disallow: /*.pdf$ | /guide.pdf, /files/a.pdf | /guide.pdf?v=2, /pdf-tools/ |
Disallow: /*? | /search?q=a, /page?id=1 | /search, /page |
Disallow: /*sessionid= | /cart?sessionid=9, /a?b=1&sessionid=2 | /cart |
Disallow: / | Jede URL | Nichts (außer /robots.txt) |
Disallow: (leer) | Nichts | Jede URL |
Crawler-Fallbacks im Tester
Manche Crawler befolgen eine andere Gruppe, wenn es keine für ihren eigenen Namen gibt. Googlebot-Image, Googlebot-News und Googlebot-Video greifen auf Googlebot zurück; Applebot folgt den Googlebot-Regeln, wenn es keine eigene Gruppe hat; Bingbot greift auf msnbot zurück; YandexBot befolgt Yandex-Gruppen. AdsBot-Google ignoriert die *-Gruppe vollständig und folgt nur Regeln, die ihn namentlich nennen. KI-Crawler wie GPTBot, ClaudeBot, CCBot und Google-Extended folgen der normalen Gruppenauswahl. Um sie auszuschließen, brauchst du daher eine Gruppe, die sie nennt, wie in der Beispieldatei. Um eine neue Datei zu erstellen, nutze den Robots.txt-Generator, und prüfe die URLs deiner Sitemap mit dem Sitemap-URL-Extraktor.
Häufige Fragen
Wie entscheidet Google, ob eine URL blockiert ist?
Google wählt zuerst die eine Gruppe, deren User-agent-Zeile am genauesten zum Crawler passt, und greift sonst auf die *-Gruppe zurück. Innerhalb dieser Gruppe gewinnt die Allow- oder Disallow-Regel mit dem längsten passenden Pfad. Passen eine Allow- und eine Disallow-Regel mit gleicher Länge, gewinnt Allow. Passt keine Regel, ist die URL erlaubt.
Wie funktionieren * und $ in der robots.txt?
Ein Sternchen passt auf eine beliebige Zeichenfolge, auch auf keine, daher blockiert Disallow: /*.pdf jede URL, die .pdf enthält. Ein Dollarzeichen am Ende verankert die Regel am Ende der URL, daher blockiert Disallow: /*.pdf$ nur URLs, die auf .pdf enden, nicht aber /file.pdf?download=1.
Warum ignoriert Googlebot meine User-agent: *-Regeln?
Ein Crawler befolgt nur eine Gruppe. Wenn deine Datei eine Gruppe für Googlebot enthält, folgt Googlebot nur dieser Gruppe und ignoriert alles unter User-agent: *. Kopiere die allgemeinen Regeln in die spezifische Gruppe, wenn sie für beide gelten sollen.
Entfernt die robots.txt Seiten aus Google?
Nein. Disallow verhindert das Crawlen, nicht das Indexieren: Eine blockierte URL kann trotzdem in den Ergebnissen erscheinen, wenn andere Seiten auf sie verlinken, meist ohne Beschreibung. Um eine Seite aus den Suchergebnissen herauszuhalten, erlaube das Crawlen und verwende stattdessen ein noindex-Meta-Tag oder einen X-Robots-Tag-Header.
Werden Crawl-delay und Noindex unterstützt?
Google ignoriert Crawl-delay und unterstützt Noindex in der robots.txt seit 2019 nicht mehr. Bing und Yandex beachten Crawl-delay. Der Tester listet diese Zeilen als Hinweise auf, damit du weißt, dass sie Googlebot nicht beeinflussen.
Wird beim Pfadabgleich zwischen Groß- und Kleinschreibung unterschieden?
Ja. Pfade in Allow- und Disallow-Regeln unterscheiden Groß- und Kleinschreibung, daher blockiert Disallow: /Admin nicht /admin. Bei Direktivennamen und User-Agent-Namen spielt die Groß- und Kleinschreibung keine Rolle.
Verwenden andere Suchmaschinen dieselben Regeln?
Bing, Yandex und die meisten großen Crawler nutzen ebenfalls den Vorrang der längsten Übereinstimmung und unterstützen * und $, wie in RFC 9309 standardisiert. Kleinere oder ältere Bots können sich anders verhalten oder die robots.txt ganz ignorieren, da es sich um einen freiwilligen Standard handelt.
Werden alle Tools auf FreeToolCabin auf Qualität und Genauigkeit getestet?
Ja. Jedes Tool auf der Website durchläuft automatische Tests in echten Browsern, die prüfen, ob das Ergebnis stimmt und keine Fehler auftreten. Wenn du einen Fehler findest oder einen Vorschlag hast, schreib uns an [email protected] – wir sehen es uns an.