Was ist robots.txt?

Definition

Eine Textdatei im Hauptverzeichnis, die Crawlern sagt, welche Bereiche der Website sie besuchen dürfen. Wichtig: Sie ist eine Bitte an gutwillige Bots, kein Schutz – wer Inhalte wirklich sperren will, braucht einen Verzeichnisschutz oder Login.