Kostenloses Tool · läuft im Browser

robots.txt für KI-Crawler

Nicht jeder KI-Bot will dasselbe: Manche sammeln Trainingsdaten, andere indexieren für KI-Suchen und zitieren dich, wieder andere holen eine Seite live für einen Nutzer. Wer pauschal alles sperrt, verschwindet aus KI-Antworten. Der Generator trennt die drei Gruppen sauber.

robots.txt-Generator

KI-Crawler gezielt erlauben oder sperren

Bot-Gruppen oder einzelne Crawler an- und abwählen, Block kopieren. Alles läuft in deinem Browser.

Ehrlich gesagt: Wenn du in KI-Antworten sichtbar sein willst, ist es kontraproduktiv, die Gruppe „Suche & Antworten" zu sperren – deshalb ist sie standardmäßig erlaubt. Ob du das Training deiner Inhalte sperrst, ist dagegen eine unternehmerische Entscheidung.

Training

GPTBot Sammelt Daten für das Training von OpenAI-Modellen. sperren ClaudeBot Sammelt Daten für das Training von Anthropic-Modellen (Claude). sperren Google-Extended Trainingsdaten für Google Gemini – wirkt sich nicht auf die Google-Suche aus. sperren Applebot-Extended Trainingsdaten für die KI-Modelle von Apple. sperren CCBot Crawlt für Common Crawl – dessen Datensatz viele KI-Modelle zum Training nutzen. sperren Bytespider Trainingsdaten-Crawler von ByteDance (TikTok). sperren Meta-ExternalAgent Trainingsdaten-Crawler von Meta. sperren Amazonbot Crawler von Amazon, unter anderem für KI-Training. sperren cohere-ai Trainingsdaten-Crawler von Cohere. sperren

Suche & Antworten

OAI-SearchBot Indexiert Seiten für die Suche in ChatGPT (OpenAI). sperren PerplexityBot Indexiert Seiten für Antworten bei Perplexity. sperren Claude-SearchBot Indexiert Seiten für die Suche bei Anthropic (Claude). sperren DuckAssistBot Indexiert Seiten für KI-Antworten bei DuckDuckGo. sperren YouBot Indexiert Seiten für Antworten bei You.com. sperren

Nutzer-Anfragen

ChatGPT-User Ruft eine Seite live ab, wenn ein Nutzer in ChatGPT danach fragt. sperren Claude-User Ruft eine Seite live ab, wenn ein Nutzer in Claude danach fragt. sperren Perplexity-User Ruft eine Seite live ab, wenn ein Nutzer in Perplexity danach fragt. sperren Meta-ExternalFetcher Ruft eine Seite live ab, wenn ein Nutzer sie in einem Meta-Produkt teilt oder abfragt. sperren MistralAI-User Ruft eine Seite live ab, wenn ein Nutzer bei Mistral danach fragt. sperren

Sitemap-URL (optional)

Bestehende robots.txt-Regeln beibehalten Ändert nur den Hinweistext unten – der generierte Block bleibt gleich.

Deine Auswahl verlassen den Browser nicht – die Regeln werden lokal per JavaScript erzeugt.

Alles wird lokal in deinem Browser erzeugt. Nichts, was du eingibst, wird an unseren Server übertragen.

So funktioniert es

1 Je Gruppe entscheiden: erlauben oder sperren
2 Einzelne Bots bei Bedarf abweichend setzen
3 Block in die bestehende robots.txt übernehmen

Anleitungen zu diesem Tool

Passende Leistungen

WordPress-Audit

Technische Bestandsaufnahme deiner WordPress-Site – transparent und konkret.

robots.txt für KI-Crawler

So funktioniert es

Anleitungen zu diesem Tool

Passende Leistungen

Weitere Tools