Die robots.txt gibt gezielte Kontrolle darüber, welche Bereiche einer Website die Crawler besuchen, und hilft besonders bei großen Websites, deren begrenztes Erfassungs-Budget auf die wichtigen Seiten zu lenken. Sie ist einfach aufgebaut, wird von allen großen Suchmaschinen respektiert und lässt unwichtige oder technische Bereiche gezielt aussparen.
Was bedeutet dieser Begriff?
Die robots.txt ist eine kleine Textdatei im Wurzelverzeichnis einer Website, die Suchmaschinen-Crawlern Anweisungen gibt, welche Bereiche sie besuchen dürfen und welche nicht. Sie ist gewissermaßen der Aushang am Eingang einer Website, den die automatischen Programme zuerst lesen. Darin lässt sich festlegen, dass bestimmte Verzeichnisse oder Seiten nicht erfasst werden sollen — etwa interne Bereiche, technische Hilfsseiten oder Dubletten, die nicht in den Suchergebnissen auftauchen sollen. Ein wichtiger, oft missverstandener Punkt: Die robots.txt regelt das Crawlen, also das Besuchen durch die Programme, nicht zuverlässig das Erscheinen in den Suchergebnissen. Wer eine Seite sicher aus dem Index heraushalten will, braucht ein anderes Mittel. Zudem ist die Datei nur eine Bitte, an die sich seriöse Crawler halten, während bösartige sie ignorieren können.
Wo hat dieser Begriff seinen Ursprung?
Die robots.txt geht auf eine informelle Übereinkunft aus dem Jahr 1994 zurück — den „Robots Exclusion Standard", der in den Anfangstagen des Webs entstand, um Website-Betreibern eine einfache Möglichkeit zu geben, das Verhalten von Crawlern zu steuern. Trotz ihres Alters und ihres inoffiziellen Ursprungs hat sich die Datei als Standard gehalten und wird von allen großen Suchmaschinen respektiert. Google formalisierte die Regeln später und trug zu einer klareren Spezifikation bei.
Warum ist dieser Begriff wichtig?
Nicht jeder Bereich einer Website gehört in die Suchergebnisse, und nicht jede Seite soll das begrenzte Erfassungs-Budget der Crawler verbrauchen. Die robots.txt gibt Website-Betreibern die Kontrolle darüber, wo die Programme ihre Aufmerksamkeit hinlenken. Ihre Funktion ist es, Crawler von unwichtigen oder ungeeigneten Bereichen fernzuhalten, damit diese ihre Ressourcen auf die wirklich relevanten Seiten konzentrieren. Gerade bei großen Websites ist diese Steuerung wertvoll. Zugleich birgt die Datei erhebliches Fehlerpotenzial — eine falsche Anweisung kann versehentlich die gesamte Website unsichtbar machen.
Vorteile
Herausforderungen
Die Datei ist trügerisch einfach und zugleich riskant: Ein einziger falscher Eintrag kann versehentlich die ganze Website vom Crawling ausschließen und ihre Sichtbarkeit zerstören — ein häufiger, folgenschwerer Fehler. Sie verhindert zudem nicht zuverlässig, dass eine Seite in den Suchergebnissen erscheint, was oft missverstanden wird und zu falscher Anwendung führt. Und sie ist nur eine Bitte, die bösartige Programme ignorieren, weshalb sie sich nicht zum Schutz vertraulicher Inhalte eignet.
Beispiel
Ein Unternehmen möchte verhindern, dass die Crawler ihr Erfassungs-Budget für unzählige technische Filter- und Sortiervarianten seines Onlineshops verschwenden, statt für die wichtigen Produkt- und Kategorieseiten. Über gezielte Anweisungen in der robots.txt schließt es diese unwichtigen Varianten vom Crawlen aus. Die Suchmaschine konzentriert sich fortan auf die relevanten Seiten, die dadurch zuverlässiger und häufiger erfasst werden.