robots.txt Tester & Generator für Google und KI-Crawler

Was die robots.txt kann – und was nicht

Die robots.txt ist eine kleine Textdatei, die Crawlern sagt, welche Bereiche deiner Website sie abrufen dürfen. Ein Crawler (auch Bot genannt) ist ein Programm, das Webseiten automatisch besucht – etwa für Google, Bing oder ChatGPT. Seriöse Bots halten sich an die robots.txt. Technisch verhindern kann sie aber nichts.

Am wichtigsten: Die robots.txt steuert das Crawlen, nicht die Indexierung. Blockierst du eine URL, liest Google den Inhalt nicht. Die Adresse kann trotzdem in den Suchergebnissen auftauchen, wenn andere Seiten darauf verlinken – meist ohne Beschreibung.

• Seite soll aus Google verschwinden? Nutze noindex als Meta-Tag oder HTTP-Header. Die Seite muss dafür crawlbar bleiben, sonst sieht Google das noindex nie.
• Inhalte sollen privat bleiben? Dann brauchst du einen Passwortschutz. Die robots.txt ist öffentlich – wer dort geheime Ordner einträgt, macht sie erst recht sichtbar.
• Sehr große Website mit Filterseiten? Hier ist die robots.txt richtig nützlich, zum Beispiel um endlose Filter- oder Such-URLs auszuschließen.

Fehlt eine wichtige Seite bei Google, gehört die robots.txt zu den ersten Verdächtigen. Weitere typische Ursachen findest du im Ratgeber Seite nicht indexiert.

Wo die robots.txt liegen muss

Crawler suchen nur an einer Stelle: im Hauptverzeichnis des Hosts, genau unter /robots.txt. Eine Datei in einem Unterordner wird ignoriert.

Jede Kombination aus Protokoll und Host braucht ihre eigene Datei. Läuft dein Shop oder dein Buchungssystem auf einer Subdomain, bekommt diese eine eigene robots.txt. Die Datei muss reiner Text in UTF-8 sein. Google liest maximal 500 KiB – das reicht für jede normale Website locker.

Aufbau der robots.txt mit Beispielen

Eine robots.txt besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, danach folgen Disallow- und Allow-Regeln. Sitemap-Zeilen stehen für sich und gelten für die ganze Datei.

# Regeln für alle Crawler ohne eigene Gruppe
User-agent: *
Disallow: /warenkorb/
Disallow: /suche
Allow: /suche/hilfe

# Eigene Gruppe nur für GPTBot
User-agent: GPTBot
Disallow: /

Sitemap: https://www.beispiel.de/sitemap.xml

• User-agent nennt den Crawler. * steht für alle Crawler, die keine eigene Gruppe haben.
• Disallow sperrt einen Pfad. Ein leeres Disallow: sperrt nichts.
• Allow macht eine Ausnahme innerhalb eines gesperrten Pfads.
• Sitemap nennt die vollständige Adresse deiner XML-Sitemap. Mehrere Einträge sind erlaubt.
• # leitet einen Kommentar ein. Feldnamen sind egal bei Groß- und Kleinschreibung, Pfade nicht.

Crawl-delay ignoriert Google komplett. Bing beachtet es, für kleine Websites ist es aber selten nötig. Und ein Noindex: in der robots.txt funktioniert bei Google seit 2019 nicht mehr.

So entscheidet ein Crawler: die Regeln im Detail

Der Tester arbeitet nach RFC 9309, dem offiziellen robots.txt-Standard, und so, wie Google ihn umsetzt:

1. Der Crawler sucht sich die Gruppe mit dem passendsten User-agent. Nur wenn keine passt, nimmt er die *-Gruppe. Beide werden nie kombiniert.
2. In dieser Gruppe kommt jede Regel in Frage, deren Pfad zum Anfang des URL-Pfads passt.
3. Die längste passende Regel gewinnt. Sind Allow und Disallow gleich lang, gewinnt Allow.
4. * steht für beliebig viele Zeichen, $ markiert das Ende der URL.
5. /robots.txt selbst ist immer erlaubt.

Legst du eine eigene Gruppe für Googlebot an, ignoriert Googlebot alles aus der *-Gruppe. Wiederhole gemeinsame Regeln also in der Googlebot-Gruppe.

Typische Fehler in der robots.txt

• **Disallow: / aus der Testumgebung übernommen.** Die Staging-Seite wird gesperrt, beim Livegang wandert die Datei mit – und eine einzige Zeile versteckt die ganze Website.
• CSS und JavaScript gesperrt. Google stellt Seiten wie ein Browser dar. Fehlen Styles und Skripte, beurteilt Google Layout und Mobilfreundlichkeit womöglich falsch.
• Seiten sperren, die raus sollen. Eine gesperrte Seite kann Google ihr noindex nicht zeigen und bleibt eventuell im Index. Besser: crawlen lassen, noindex setzen, abwarten.
• Falsche Schreibweise. Disallow: /Bilder/ sperrt /bilder/ nicht.
• Platzhalter missverstanden. Disallow: /blog sperrt auch /blog-news und /blogger. Mit Schrägstrich am Ende meinst du nur den Ordner.
• robots.txt liefert Serverfehler. Ein 404 ist harmlos und heißt „alles erlaubt“. Antwortet die Datei aber mit einem Serverfehler (5xx), behandelt Google die ganze Website eine Zeit lang womöglich als gesperrt und crawlt nicht.

KI-Crawler: Trainings-Bots und Such-Bots

KI-Firmen schicken verschiedene Bots für verschiedene Aufgaben los. Die einen sammeln Inhalte, um Sprachmodelle zu trainieren. Die anderen rufen Seiten live ab, damit ein KI-Assistent eine Frage beantworten und dich verlinken kann. Du kannst die erste Sorte blockieren, ohne bei der zweiten unsichtbar zu werden.

Google-Extended ist kein eigener Crawler. Abgerufen wird weiter vom Googlebot – der Eintrag legt nur fest, ob Google die Inhalte für seine KI-Modelle nutzen darf. Auf dein Ranking in der Google-Suche hat das keinen Einfluss. Applebot-Extended funktioniert genauso: Der normale Applebot versorgt weiterhin Siri und Spotlight.

Sperrst du GPTBot, lässt aber OAI-SearchBot zu, kann deine Website weiter in der ChatGPT-Suche erscheinen und verlinkt werden. Bot-Namen ändern sich gelegentlich, schau also ab und zu in die offiziellen Listen, etwa die Crawler-Doku von OpenAI. Abrufe, die ein Mensch direkt auslöst (wie bei ChatGPT-User), behandeln die Anbieter teils anders als automatische Crawler.

Wie du von KI-Assistenten empfohlen wirst, erklärt der Ratgeber In ChatGPT empfohlen werden. Eine optionale Zusammenfassung für KI-Tools erstellst du mit dem llms.txt Generator. Ob die Crawler von ChatGPT, Claude und Perplexity deine Seite lesen können, prüft auch die RankTutor iPhone-App.

Eine fertige robots.txt für kleine Unternehmen

Diese Vorlage lässt Suchmaschinen und KI-Such-Bots rein, hält KI-Trainingsbots draußen und blendet typische Nebenseiten aus. Pass die Pfade an deine Website an oder bau dir oben mit dem Generator deine eigene Version.

User-agent: *
Disallow: /warenkorb/
Disallow: /kasse/
Disallow: /*?s=

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Bytespider
Disallow: /

Sitemap: https://www.beispiel.de/sitemap.xml

Mehrere User-agent-Zeilen direkt untereinander bilden eine gemeinsame Gruppe – so bleibt die Datei kurz. Bots ohne eigene Gruppe, also auch OAI-SearchBot, Claude-SearchBot und PerplexityBot, nutzen die *-Gruppe und dürfen alles außer Warenkorb, Kasse und Suchseiten.

robots.txt in der Google Search Console prüfen

Den alten robots.txt-Tester hat Google 2023 abgeschaltet. Stattdessen gibt es den robots.txt-Bericht:

1. Öffne die Google Search Console und wähle deine Property.
2. Geh zu Einstellungen und öffne den Bericht robots.txt.
3. Dort siehst du, welche robots.txt-Dateien Google gefunden hat, wann sie zuletzt abgerufen wurden und ob es Warnungen gibt.
4. Nach einer Korrektur klickst du auf Erneutes Crawling anfordern, damit Google die neue Version schneller holt.
5. Einzelne Seiten prüfst du mit der URL-Prüfung. Sie zeigt, ob die URL durch die robots.txt blockiert ist.

Google speichert die robots.txt meist bis zu 24 Stunden zwischen, Änderungen wirken also nicht sofort. Einen breiteren Blick auf deine Seiten bekommst du mit dem kostenlosen SEO-Check. Und wenn du gerade Seiten freigegeben hast, helfen Sitemap und IndexNow, damit Suchmaschinen es schneller merken.