Crawler erschließen das Web vollautomatisch und laufend — Unternehmen müssen ihre Seiten nicht aktiv anmelden, um gefunden zu werden. Wer die Arbeitsweise der Crawler kennt, kann seine Website gezielt so gestalten, dass wichtige Inhalte zuverlässig erfasst und weniger wichtige ausgespart werden.
Was bedeutet dieser Begriff?
Ein Crawler ist ein automatisches Programm, das unermüdlich durch das Internet wandert — auch Bot oder Spider genannt. Er ruft Webseiten auf, liest deren Inhalt, folgt allen Links, die er dort findet, und gelangt so von Seite zu Seite. Was er erfasst, meldet er an die Suchmaschine zurück, die es in ihr riesiges Verzeichnis aufnimmt. Der bekannteste ist der Googlebot. Entscheidend zu verstehen: Nur was ein Crawler lesen und verstehen kann, hat überhaupt eine Chance, in Suchergebnissen zu erscheinen. Inhalte, die ihm verborgen bleiben — etwa Text in Bildern oder hinter komplizierter Technik — existieren für die Suchmaschine praktisch nicht.
Wo hat dieser Begriff seinen Ursprung?
Die ersten Crawler entstanden Anfang der 1990er Jahre mit den frühesten Suchmaschinen — einer der ersten trug den Namen „World Wide Web Wanderer". Das Bild vom Spinnentier, das sich durch das „Web", also das Netz, bewegt, gab den Programmen ihren zweiten Namen. Mit dem Wachstum des Internets wurden Crawler immer leistungsfähiger; heute erfassen sie Milliarden von Seiten in kurzen Abständen.
Warum ist dieser Begriff wichtig?
Der Crawler ist das Nadelöhr am Anfang jeder Sichtbarkeit. Bevor eine Seite ranken, gefunden oder auch nur angezeigt werden kann, muss ein Crawler sie erst einmal erreicht und gelesen haben. Seine Funktion aus Unternehmenssicht zu verstehen heißt: dafür zu sorgen, dass die eigene Website technisch gut erfassbar ist. Eine Seite, die der Crawler nicht erreicht oder nicht versteht, kann noch so gute Inhalte haben — sie bleibt unsichtbar.
Vorteile
Herausforderungen
Crawler haben Grenzen: Inhalte, die erst durch komplexe Technik im Browser entstehen, erfassen sie nicht immer vollständig. Suchmaschinen widmen jeder Website nur ein begrenztes Erfassungs-Budget — bei sehr großen Seiten kann das dazu führen, dass nicht alles regelmäßig besucht wird. Und technische Fehler wie versehentliche Sperren können Crawler ganze Bereiche unsichtbar machen, ohne dass es sofort auffällt.
Beispiel
Ein Unternehmen versteckt zentrale Leistungsbeschreibungen in einer aufwendigen Grafik, die schön aussieht, aber nur ein Bild ist. Der Crawler kann den Text darin nicht lesen — für die Suchmaschine ist die Seite quasi leer. Nachdem die Inhalte als echter Text ergänzt werden, erfasst der Crawler sie, und die Seite beginnt für die passenden Suchanfragen zu erscheinen.