Crawler
Ein Crawler ist ein automatisches Programm, das Websites besucht, Seiten liest und Links folgt. Man nennt ihn auch Bot oder Spider. Die bekannteste Anwendung ist der Googlebot, der Seiten für die Google-Suche einsammelt. Auch KI-Dienste und andere Anbieter setzen eigene Crawler ein.
Was er tut
Der Crawler ruft eine Seite auf, liest Text, Überschriften und Links und meldet das Ergebnis an den Dienst zurück. Erst danach kann entschieden werden, ob und wo die Seite in den Ergebnissen auftaucht. Kann ein Crawler Deine Seite nicht erreichen oder lesen, kann sie auch nicht gefunden werden.
Beispiel
Eine fiktive Physiotherapie hat ihre Behandlungsangebote nur in einem Bild-Flyer auf der Startseite. Für Menschen lesbar, für den Crawler aber nur ein Bild ohne Text. Wer dagegen die Leistungen als normalen Text auf die Seite schreibt, gibt dem Crawler etwas zu lesen.
Wie Du den Zugang steuerst
- Mit einer Datei namens robots.txt sagst Du Crawlern, welche Bereiche sie besuchen sollen und welche nicht.
- Schreibe wichtige Angaben wie Adresse, Telefon und Öffnungszeiten als Text, nicht nur als Bild.
- Sorge für eine schnelle, erreichbare Website. Fehlerseiten und lange Ladezeiten bremsen Crawler.
Auch wir nutzen Programme, um öffentliche Angaben von Firmenwebsites zu lesen. Das ist die Grundlage für den Abgleich in der Konsistenz-Ampel.
Gut zu wissen: Nicht jeder Crawler ist erwünscht. Manche Programme lesen Seiten nur, um sie massenhaft zu kopieren oder um Server zu belasten. Dein Hoster oder Dein Website-Dienst kann solche Zugriffe oft begrenzen. Sprich ihn an, wenn Deine Seite ungewöhnlich langsam wird.