robots.txt
Die robots.txt liegt direkt im Hauptverzeichnis einer Website, also unter Deiner-Domain.de/robots.txt. Sie ist die erste Anlaufstelle für Crawler. Dort steht in einfachen Zeilen, welcher Crawler welche Pfade lesen darf und welche nicht. Seriöse Crawler halten sich daran.
Grenzen
Die Datei ist eine Bitte, kein Schloss. Sie schützt keine geheimen Inhalte, denn jeder kann sie einsehen. Außerdem bedeutet „nicht lesen“ nicht automatisch „nicht anzeigen“: Eine gesperrte Seite kann je nach Fall trotzdem in der Suche auftauchen, wenn andere Seiten auf sie verlinken. Wer eine Seite sicher aus den Ergebnissen heraushalten will, braucht andere Mittel, etwa einen Hinweis „noindex“ im Seitencode oder einen Passwortschutz.
Beispiel
Ein fiktiver Optiker sperrt in der robots.txt den Bereich seines Online-Terminkalenders, weil dort tausende fast leere Seiten entstehen. Die Leistungsseiten bleiben offen. Ein häufiger Fehler passiert bei Relaunches: Aus Versehen bleibt die Sperre „alles verboten“ aus der Testphase stehen, und die neue Website verschwindet aus der Suche.
Tipps
- Rufe Deine robots.txt einmal im Browser auf und lies sie.
- Prüfe nach jedem Umbau, ob wichtige Seiten freigegeben sind.
- Verweise in der Datei auf Deine Sitemap.
- Entscheide bewusst, welche KI-Crawler Du zulässt oder aussperrst.
Bei einfachen Websites aus einem Baukasten wird die Datei oft automatisch erzeugt. Schau trotzdem einmal hinein, besonders nach einem Relaunch, einem Umzug zu einem anderen Anbieter oder wenn plötzlich Seiten aus der Suche verschwinden. Ein kurzer Blick spart oft wochenlange Ursachensuche.