Index Suchmaschinen

Der Index ist das Verzeichnis einer Suchmaschine: Crawler wie der Googlebot erfassen Seiten, Google entscheidet über die Aufnahme. Nur indexierte URLs können ranken; welche Seiten im Index sind, zeigt die Google Search Console.

Der Begriff Index hat viele Bedeutungen. Meist bezeichnet er ein Verzeichnis, das Informationen geordnet auffindbar macht – wie das Stichwortverzeichnis eines Buches. Im Internet ist damit vor allem der Datenbestand von Suchmaschinen gemeint. Ohne ihn wäre keine Websuche möglich.

Der bekannteste Index ist der von Google. Um ihn aufzubauen, durchsuchen Crawler wie der Googlebot das Web: Sie folgen Links von Seite zu Seite und von Domain zu Domain, rufen URLs auf und lesen deren Inhalte. Diesen Vorgang nennt man Crawling. Anschließend analysiert Google die Inhalte, ordnet sie Themen zu, erkennt Duplikate und entscheidet, ob und in welcher Form eine Seite in den Index aufgenommen wird – die Indexierung. Wichtig: Nicht jede gecrawlte Seite wird indexiert. Google nimmt nur Seiten auf, die erreichbar, nicht ausgeschlossen und aus Googles Sicht nützlich genug sind. Nur indexierte Seiten können in den Suchergebnissen erscheinen.

Wie arbeiten Suchmaschinen mit dem Website-Index?

Ohne Index hätte eine Suchmaschine keinen Datenbestand, aus dem sie Ergebnisse liefern könnte. Gibt ein Nutzer eine Suchanfrage ein, durchsucht die Suchmaschine nicht das Web, sondern ihren Index und sortiert die passenden Seiten nach zahlreichen Rankingfaktoren. Welche Faktoren das sind, ist in Teilen bekannt; ihre genaue Gewichtung im Algorithmus bleibt geheim. Eine große Herausforderung ist dabei die Bedeutung von Suchanfragen: Viele Begriffe sind mehrdeutig. Google arbeitet deshalb mit Entitäten und Zusammenhängen, um zu verstehen, was gemeint ist. Für Websitebetreiber heißt das: Inhalte sollten ihr Thema klar und umfassend behandeln, damit Google sie eindeutig zuordnen kann.

Damit der Index aktuell bleibt, besuchen Crawler Seiten immer wieder und aktualisieren die gespeicherte Version. Wichtige oder häufig geänderte Seiten werden öfter gecrawlt als selten aktualisierte. Weil Google seine Bewertungskriterien zudem mit Core Updates regelmäßig anpasst, reicht eine einmalige Optimierung nicht aus: Seiten, die neue Standards nicht mehr erfüllen, können an Sichtbarkeit verlieren oder sogar aus dem Index fallen.

Welche Seiten werden indexiert – und welche nicht?

Ob eine Seite in den Index aufgenommen wird, hängt von technischen und inhaltlichen Faktoren ab. Technisch muss sie erreichbar sein (Statuscode 200), darf nicht per robots.txt gesperrt oder mit „noindex“ markiert sein und sollte die kanonische Version sein. Inhaltlich prüft Google, ob die Seite einen eigenständigen Mehrwert bietet oder nur ein Duplikat bzw. eine sehr dünne Seite ist. Hilfreich sind eine gute interne Verlinkung, eine XML-Sitemap und Backlinks, die Google auf wichtige Seiten aufmerksam machen. Welche Seiten indexiert sind und warum andere nicht, zeigt der Bericht „Seiten“ in der Google Search Console – mit Gründen wie „Gecrawlt – zurzeit nicht indexiert“, „Duplikat“ oder „Durch noindex-Tag ausgeschlossen“. Ob eine robots.txt wichtige Bereiche sperrt, lässt sich mit dem robots.txt Checker prüfen.

Daneben entfernt Google Inhalte aus rechtlichen Gründen aus dem Index, etwa nach Urheberrechtsbeschwerden oder Löschanträgen. Solche Seiten bleiben weiterhin erreichbar, werden über die Suche aber nicht mehr gefunden.

Außerdem kann eine Website wegen schwerer Verstöße gegen die Spam-Richtlinien aus dem Google-Index entfernt werden – etwa bei Cloaking, massivem Linkspam oder anderen Black-Hat-Methoden. Websitebetreiber, die eine einzelne Seite gezielt aus dem Index nehmen wollen, nutzen dagegen das Meta-Tag „noindex“ oder vorübergehend das Entfernungstool der Search Console.