Verhindert die robots.txt, dass eine Seite bei Google erscheint?

Nein. Die robots.txt verbietet nur das Abrufen. Verlinken andere Seiten auf die gesperrte URL, kann Google sie trotzdem in den Index aufnehmen, dann ohne Beschreibung. Um eine Seite sicher aus den Suchergebnissen herauszuhalten, brauchst du noindex oder einen Passwortschutz.

Warum wirkt mein noindex nicht?

Meist, weil die Seite gleichzeitig per robots.txt gesperrt ist. Google darf die Seite dann nicht abrufen und sieht das noindex nie. Entferne die Sperre in der robots.txt, bis Google die Seite erneut gecrawlt und aus dem Index genommen hat.

Wie lange dauert es, bis Google eine geänderte robots.txt beachtet?

Laut Googles Dokumentation wird die robots.txt in der Regel bis zu 24 Stunden zwischengespeichert. Im robots.txt-Bericht der Search Console kannst du nach einer dringenden Korrektur ein erneutes Abrufen anstoßen.

Braucht jede Website eine robots.txt?

Nein. Fehlt die Datei und antwortet der Server mit 404, geht Google davon aus, dass alles erlaubt ist. Sinnvoll ist sie trotzdem, schon für den Verweis auf die Sitemap und für Regeln zu KI-Crawlern.

robots.txt und Indexierung: Was Google crawlt und was es indexiert

Die robots.txt ist eine kleine Textdatei mit großer Wirkung. Eine falsche Zeile reicht, und Google ruft keine einzige Seite mehr ab. Gleichzeitig wird sie oft für etwas eingesetzt, das sie gar nicht kann: Seiten aus dem Index heraushalten. Hier steht, was die Datei tatsächlich steuert, wie du Seiten wirklich aus Google entfernst und welche Fehler wir in der Praxis am häufigsten finden.

Crawling und Indexierung sind zwei Schritte

Damit eine Seite in den Suchergebnissen erscheint, passiert zweierlei:

Crawling: Ein Crawler wie der Googlebot ruft die Seite ab und liest ihren Inhalt.
Indexierung: Google entscheidet, ob die Seite in den Index kommt und damit in Suchergebnissen auftauchen kann.

Die robots.txt greift nur in Schritt 1 ein. Sie sagt Crawlern, welche Pfade sie abrufen dürfen und welche nicht. Ob eine Seite im Index landet, regelt sie nicht. Dafür gibt es noindex.

Laut Googles Dokumentation ist die robots.txt ausdrücklich kein Mittel, um eine Seite aus Google herauszuhalten. Verlinken andere Seiten auf eine gesperrte URL, kann Google sie trotzdem indexieren, ohne sie je abgerufen zu haben. Im Suchergebnis steht dann nur die Adresse, ohne Beschreibung. In der Search Console taucht so eine Seite unter „Indexiert, obwohl durch robots.txt-Datei blockiert“ auf.

So ist eine robots.txt aufgebaut

Die Datei liegt immer im Wurzelverzeichnis der Domain, also unter https://deine-domain.de/robots.txt. In Unterordnern wird sie ignoriert. Sie besteht aus Gruppen: Eine Zeile User-agent nennt den Crawler, darunter folgen Disallow- und Allow-Regeln.

User-agent: *
Disallow: /intern/
Allow: /intern/presse/

User-agent: GPTBot
Disallow: /

Sitemap: https://deine-domain.de/sitemap-index.xml

Ein paar Regeln, die oft falsch verstanden werden:

User-agent: * gilt für alle Crawler, die keine eigene Gruppe haben. Hat ein Crawler eine eigene Gruppe, befolgt er nur diese und ignoriert die *-Gruppe komplett.
Die längste passende Regel gewinnt. Im Beispiel ist /intern/presse/ erlaubt, obwohl /intern/ gesperrt ist.
Groß- und Kleinschreibung zählt bei Pfaden. /Intern/ und /intern/ sind verschiedene Pfade.
Die Sitemap-Zeile steht unabhängig von den Gruppen und braucht eine vollständige URL.
Nicht jede Zeile wird beachtet. Google ignoriert laut eigener Dokumentation unter anderem Crawl-delay und seit 2019 auch Noindex in der robots.txt.

Die robots.txt ist eine Bitte, keine Zugriffssperre. Seriöse Suchmaschinen halten sich daran. Wer etwas wirklich schützen will, braucht einen Passwortschutz auf dem Server.

Seiten wirklich aus dem Index halten: noindex

Soll eine Seite nicht in den Suchergebnissen erscheinen, gehört ein noindex an die Seite selbst. Dafür gibt es zwei Wege:

Als Meta-Tag im HTML-Kopf:

<meta name="robots" content="noindex">

Als HTTP-Header, nützlich für PDFs und andere Dateien ohne HTML-Kopf:

X-Robots-Tag: noindex

Entscheidend ist: Google muss die Seite abrufen dürfen, um das noindex zu sehen. Ist die URL gleichzeitig in der robots.txt gesperrt, liest der Crawler die Anweisung nie. Die Seite kann im Index bleiben, obwohl sie ein noindex trägt. Laut Googles Dokumentation wird ein noindex auf einer per robots.txt gesperrten Seite schlicht nicht gefunden und damit ignoriert.

Die Faustregel daraus:

Ziel	Mittel
Seite soll nicht in Google erscheinen	noindex, Seite nicht per robots.txt sperren
Crawler sollen Bereiche nicht abrufen (Filter, interne Suche)	Disallow in der robots.txt
Inhalt darf niemand sehen	Passwortschutz auf dem Server
Seite ist umgezogen	301-Weiterleitung

Was sinnvoll in die robots.txt gehört

Die robots.txt ist dann richtig eingesetzt, wenn sie Crawlern Arbeit erspart, die keinen Wert hat. Typische Kandidaten:

Interne Suchergebnisse, etwa /?s= bei WordPress. Jede Suchanfrage erzeugt eine neue URL mit dünnem Inhalt.
Filter- und Sortierparameter in Shops, etwa ?orderby= oder Kombinationen aus Farbe, Größe und Preis. Daraus entstehen schnell Tausende Varianten derselben Kategorieseite.
Warenkorb, Kasse und Kundenkonto. Diese Seiten sind für jeden Besucher anders und haben in Suchergebnissen nichts verloren.

Google versteht dabei zwei Platzhalter: * steht für beliebige Zeichen, $ für das Ende der URL.

User-agent: *
Disallow: /?s=
Disallow: /*?orderby=
Disallow: /warenkorb/
Disallow: /*.pdf$

Nicht hinein gehören Seiten, die du nur nicht in Google sehen willst, etwa Danke-Seiten oder das Impressum. Dafür ist noindex das richtige Mittel, aus dem oben beschriebenen Grund. Und vorsichtig mit Parametern, die auch echte Inhalte erzeugen: Sperrst du ?page=, findet Google womöglich die Beiträge auf Seite 2 und folgende nicht mehr.

Die häufigsten Fehler

Disallow: / aus der Entwicklungsumgebung. Auf der Staging-Seite ist das richtig, damit Google die Testversion nicht findet. Wird die Datei beim Launch mit übernommen, sperrt sie die ganze Live-Website. Die Folge zeigt sich nicht sofort, sondern über Tage, wenn Seiten nach und nach ihre Beschreibung verlieren und abrutschen. Bei WordPress lohnt ein Blick unter Einstellungen → Lesen: Die Option „Suchmaschinen davon abhalten, diese Website zu indexieren“ bleibt nach einem Umzug gern aktiv.

noindex und Disallow kombiniert. Wer eine Seite doppelt absichern will, erreicht das Gegenteil, siehe oben. Erst das noindex wirken lassen, also die Seite crawlen und aus dem Index fallen lassen. Ein Disallow ist danach in der Regel unnötig.

CSS und JavaScript gesperrt. Ältere robots.txt-Dateien sperren oft Ordner wie /wp-includes/ oder /assets/. Google rendert Seiten aber wie ein Browser. Fehlen ihm Stylesheets und Skripte, sieht es eine kaputte Seite und bewertet Layout und Inhalt womöglich falsch.

Fehlende Sitemap-Zeile. Kein schwerer Fehler, aber verschenkt. Die Zeile hilft Suchmaschinen und anderen Crawlern, alle Seiten zu finden, auch wenn du die Sitemap nicht in jedem Tool einzeln einreichst.

Die robots.txt antwortet mit Serverfehler. Laut Googles Dokumentation stoppt Google bei einem 5xx-Fehler auf der robots.txt zunächst das Crawling der ganzen Website, weil es nicht weiß, was erlaubt ist. Ein 404 ist dagegen harmlos und bedeutet „alles erlaubt“. Ob deine Datei sauber mit 200 antwortet, prüfst du mit unserem HTTP-Status-Checker.

Zu große Datei. Google liest laut eigener Spezifikation höchstens 500 KiB, der Rest wird ignoriert. Bei normalen Websites spielt das keine Rolle, bei automatisch erzeugten Dateien mit Tausenden Zeilen schon.

Prüfen in der Search Console

Die Search Console zeigt dir, wie Google deine robots.txt sieht:

Der robots.txt-Bericht (unter Einstellungen) zeigt, welche Version Google zuletzt abgerufen hat, wann das war und ob es Fehler gab. Nach einer dringenden Korrektur kannst du dort ein erneutes Abrufen anfordern. Laut Googles Dokumentation wird die Datei sonst in der Regel bis zu 24 Stunden zwischengespeichert.
Die URL-Prüfung zeigt für eine einzelne Adresse, ob das Crawling erlaubt ist, ob die Seite indexiert ist und ob ein noindex erkannt wurde.
Der Bericht „Seiten“ unter Indexierung listet Gründe, warum Seiten nicht im Index sind. Die beiden Einträge „Durch robots.txt-Datei blockiert“ und „Indexiert, obwohl durch robots.txt-Datei blockiert“ sind die wichtigsten Hinweise auf Fehler in der Datei.

Nach jedem Relaunch gehört ein Blick in diese drei Stellen auf die Checkliste, zusammen mit der Kontrolle der Weiterleitungen, wie in HTTP-Statuscodes prüfen beschrieben.

KI-Crawler in der robots.txt

Neben Suchmaschinen lesen inzwischen auch die Crawler von KI-Anbietern die robots.txt. Viele Anbieter trennen dabei zwischen Bots, die Trainingsdaten sammeln, und Bots, die Seiten für Antworten in ihrer Suche abrufen. Du kannst sie einzeln erlauben oder sperren.

Unser Generator erzeugt dafür die passenden Gruppen. Du wählst pro Bot oder pro Gruppe, ob er erlaubt oder gesperrt ist, und kannst eine Sitemap-URL angeben. Er läuft komplett im Browser. Er schreibt nur die Regeln für KI-Crawler, deine bestehenden Regeln für alle anderen Crawler übernimmst du selbst in die Datei.

robots.txt-Generator

KI-Crawler gezielt erlauben oder sperren

Bot-Gruppen oder einzelne Crawler an- und abwählen, Block kopieren. Alles läuft in deinem Browser.

Ehrlich gesagt: Wenn du in KI-Antworten sichtbar sein willst, ist es kontraproduktiv, die Gruppe „Suche & Antworten" zu sperren – deshalb ist sie standardmäßig erlaubt. Ob du das Training deiner Inhalte sperrst, ist dagegen eine unternehmerische Entscheidung.

Training

GPTBot Sammelt Daten für das Training von OpenAI-Modellen. sperren ClaudeBot Sammelt Daten für das Training von Anthropic-Modellen (Claude). sperren Google-Extended Trainingsdaten für Google Gemini – wirkt sich nicht auf die Google-Suche aus. sperren Applebot-Extended Trainingsdaten für die KI-Modelle von Apple. sperren CCBot Crawlt für Common Crawl – dessen Datensatz viele KI-Modelle zum Training nutzen. sperren Bytespider Trainingsdaten-Crawler von ByteDance (TikTok). sperren Meta-ExternalAgent Trainingsdaten-Crawler von Meta. sperren Amazonbot Crawler von Amazon, unter anderem für KI-Training. sperren cohere-ai Trainingsdaten-Crawler von Cohere. sperren

Suche & Antworten

OAI-SearchBot Indexiert Seiten für die Suche in ChatGPT (OpenAI). sperren PerplexityBot Indexiert Seiten für Antworten bei Perplexity. sperren Claude-SearchBot Indexiert Seiten für die Suche bei Anthropic (Claude). sperren DuckAssistBot Indexiert Seiten für KI-Antworten bei DuckDuckGo. sperren YouBot Indexiert Seiten für Antworten bei You.com. sperren

Nutzer-Anfragen

ChatGPT-User Ruft eine Seite live ab, wenn ein Nutzer in ChatGPT danach fragt. sperren Claude-User Ruft eine Seite live ab, wenn ein Nutzer in Claude danach fragt. sperren Perplexity-User Ruft eine Seite live ab, wenn ein Nutzer in Perplexity danach fragt. sperren Meta-ExternalFetcher Ruft eine Seite live ab, wenn ein Nutzer sie in einem Meta-Produkt teilt oder abfragt. sperren MistralAI-User Ruft eine Seite live ab, wenn ein Nutzer bei Mistral danach fragt. sperren

Sitemap-URL (optional)

Bestehende robots.txt-Regeln beibehalten Ändert nur den Hinweistext unten – der generierte Block bleibt gleich.

Deine Auswahl verlassen den Browser nicht – die Regeln werden lokal per JavaScript erzeugt.

Welche Abwägung hinter „Training sperren, Suche erlauben“ steckt und was das für die Sichtbarkeit in ChatGPT und AI Overviews heißt, beschreibt unser Beitrag Sichtbar in ChatGPT & AI Overviews. Den Generator gibt es auch einzeln unter robots.txt für KI-Crawler.

Kurze Checkliste

Die Datei liegt unter /robots.txt und antwortet mit Status 200 oder 404, nie mit 5xx.
Kein Disallow: / für User-agent: * auf der Live-Website.
CSS, JavaScript und Bilder sind nicht gesperrt.
Seiten, die nicht in Google sollen, tragen noindex und sind nicht per robots.txt gesperrt.
Die Sitemap-Zeile ist vorhanden und zeigt auf eine erreichbare URL.
Nach Änderungen: robots.txt-Bericht in der Search Console prüfen.

Deine Seiten verschwinden aus Google und du findest den Grund nicht? In unserem WordPress-Audit gehören Indexierung, Sitemap und robots.txt zum Prüfumfang, oder schreib uns kurz.