Crawler

Ein Crawler (Bot/Spider) durchsucht das Web automatisch, folgt Links und übergibt Seiten an den Suchmaschinen-Index – z. B. der Googlebot. Für SEO zählt, dass der Bot wichtige Inhalte erreicht; Bereiche lassen sich per robots.txt oder noindex ausschließen.

Um die riesige Menge an Inhalten im World Wide Web zu erfassen, setzen Suchmaschinen Crawler ein – auch Bot oder Spider genannt. Googles Crawler heißt Googlebot. Er ruft automatisch Webseiten auf, liest ihre Inhalte und übergibt sie zur Aufnahme in den Index, damit sie in den Suchergebnissen erscheinen können. Ebenso erfasst er Aktualisierungen und Änderungen. Crawler werden aber nicht nur von Suchmaschinen eingesetzt: Auch SEO-Tools, Preisvergleichsportale und KI-Anbieter wie OpenAI betreiben eigene Crawler – und leider auch Spammer, die etwa E-Mail-Adressen sammeln.

Wie funktioniert ein Crawler? Wie liest er eine Seite?

Der erste Webcrawler, der World Wide Web Wanderer, ging 1993 auf „Wanderschaft“. Das Prinzip ist bis heute dasselbe: Der Crawler hangelt sich von Link zu Link durch das Web und entdeckt so neue Seiten. Zusätzlich nutzt Google XML-Sitemaps, um URLs zu finden. Bereiche, die nur mit Login erreichbar sind, kann ein Crawler dagegen nicht erfassen. Wie oft und wie viele Seiten einer Website gecrawlt werden, hängt unter anderem von ihrer Bedeutung, ihrer Aktualisierungshäufigkeit und der Serverleistung ab – man spricht vom Crawl-Budget. Moderne Crawler wie der Googlebot können außerdem JavaScript ausführen und Seiten ähnlich wie ein Browser darstellen (rendern).

Nach dem Crawlen analysiert die Suchmaschine die Inhalte, ordnet sie Themen und Suchbegriffen zu und nimmt sie in den Index auf. Nicht jede gecrawlte Seite wird dabei indexiert: Google entscheidet selbst, ob eine Seite relevant und einzigartig genug ist. In der Google Search Console lässt sich nachvollziehen, welche Seiten gecrawlt und indexiert wurden – und welche nicht.

Googlebot und Co.: Crawler in der Suchmaschinenoptimierung

Für die Suchmaschinenoptimierung ist der Crawler zentral, denn nur was er erreicht, kann in Suchmaschinen wie Google gefunden werden. Da Suchmaschinen für viele Websites und Onlineshops die wichtigste Traffic-Quelle sind, hat das einen hohen Stellenwert. Der Googlebot ist dabei der bekannteste Vertreter.

Damit der Crawler eine Website vollständig erfassen kann, muss sie für ihn zugänglich sein: Wichtige Bereiche dürfen nicht per robots.txt gesperrt sein, und Inhalte sollten im HTML ausgeliefert oder zuverlässig gerendert werden. Ebenso wichtig ist eine gute interne Verlinkung, denn der Bot folgt Links. Seiten, die nur schlecht oder gar nicht verlinkt sind, findet er unter Umständen nicht. Externe Backlinks sorgen außerdem dafür, dass eine Website häufiger besucht wird. Gerade in großen Onlineshops mit Filtern und Varianten lohnt es sich, das Crawl-Budget gezielt auf die wichtigen Seiten zu lenken. Ob wichtige Bereiche versehentlich gesperrt sind, prüft der robots.txt Checker.

Bereiche gezielt ausschließen: robots.txt, noindex und nofollow

Auch wenn das Ziel ist, mit einer Website möglichst gut gefunden zu werden, sollen manche Bereiche nicht in den Suchergebnissen erscheinen – etwa Login-Seiten, interne Suchergebnisse oder Filterkombinationen ohne eigenen Mehrwert. Dafür gibt es unterschiedliche Werkzeuge: Mit der robots.txt lässt sich steuern, welche Bereiche Crawler gar nicht aufrufen sollen. Mit dem Meta-Tag „noindex“ bleibt eine Seite für den Crawler zugänglich, wird aber nicht in den Index aufgenommen. Das Link-Attribut „nofollow“ ist dagegen nur ein Hinweis, einem bestimmten Link nicht zu folgen – um eine Seite aus dem Index herauszuhalten, reicht es nicht aus.