Index

Für den Begriff Index gibt es unterschiedliche Bezeichnungen: Bis auf einige Ausnahmen bezeichnet ein Index jedoch eine Übersicht oder Auflistung von Daten, die zum Beispiel zu einem bestimmten Thema zuzuordnen sind. In diesem Sinne dient ein Index dem Nachschlagen von Informationen. Solche Verzeichnisse gibt es auch im Internet für Seiten beziehungsweise helfen das World Wide Web zu strukturieren. Sie sind bedeutsam für jede Web-Suche.

Zu den bekanntesten Indexen zählen jene Verzeichnisse, die Suchmaschinen wie Google anlegen. Sie sind wichtig für jeden SEO-Experten. Mit Hilfe von sogenannten Webcrawlern durcharbeiten diese Maschinen das Internet und lesen den Inhalt jeder Domain und URL. Diesen Vorgang bezeichnet man als Crawl. Dabei machen sie sich die Verlinkungen unterhalb und innerhalb der verschiedenen Webseiten zunutze, um eine Seite zu durchsuchen. Konkret bedeutet dies, dass ein Crawler  von Link zu Link springt und so von einer Domain auf eine andere gelangt. Jede Webseite beziehungsweise jede Subdomain und URL, die ein Crawler sozusagen gescannt hat, wird in den Index der Suchmaschine aufgenommen, sie wird also indexiert. Die gesammelten Daten werden nach verschiedenen Kriterien sortiert und in den Datenbestand aufgenommen. Durch den Index kann Google oder eine andere Suchmaschine eine Seite ins Ranking aufnehmen und die jeweiligen Ergebnisse zu einer Suchanfrage liefern. Der Google Index ist der wichtigste Web-Index.

Wie arbeiten Suchmaschinen mit dem Website-Index?

Ohne Index würde eine Web-Suchmaschine nicht funktionieren, denn sie hätte keinen Datenbestand, der Ergebnisse für Suchanfragen liefern könnte. Das bedeutet, die Suchmaschine muss in erster Linie dafür sorgen, dass die Daten einer Webseite gefunden und übernommen werden. Das geschieht über Webcrawler, die ohne Pause das Internet während des Crawl-Vorgangs durchsuchen. Bei Google ist dieser Crawler der sogenannte Googlebot, kurz Bot. Um Suchanfragen verarbeiten zu können, bringen Suchmaschinen die gesammelten Daten des Index in eine (nach ihren Kriterien erstellte) sinnvolle Reihenfolge, die Webmaster und SEO-Spezialisten besser als Ranking-Faktoren kennen. Diese Rankingfaktoren sind zwar nicht geheim, ihre Gewichtung jedoch schon, denn dies bezeichnet man als Algorithmus. Zu den größten Herausforderungen einer guten Kategorisierung des Index zählt die Semantik einer Suchanfrage, denn ein Begriff kann stets mehrdeutig sein. Daher muss jeder Inhalt auf einer Website ein stringentes semantisches Umfeld aufweisen. Gerade hochwertiger Content lebt davon, um bei jeder Suche die passenden Ergebnisse in den SERPs anzuzeigen.

Neben der Beschaffung und Kategorisierung des Index sorgt eine Suchmaschine weiterhin dafür, dass es sich um ein aktuelles Verzeichnis der in diesem Fall webbasierten Informationen handelt. Aus diesem Grund werden Seiten immer wieder von Webcrawlern besucht, damit die aktuellste Version einer Seite indexiert und in den Ergebnissen einer Suchmaschine gefunden wird. Aus diesem Grund reicht auch eine einmalige Optimierung einer Website nicht. Denn sollten Updates wie Panda oder Penguin an den Start gehen, dann kann sich ein Ranking durchaus verschlechtern, wenn ein Inhalt die neuen Kriterien nicht mehr erfüllt. Daher sollte eine Website immer an die neuen Standards angepasst werden, um entsprechend im Google Index oder anderen Verzeichnissen gelistet zu sein.

Kriterien für den Web-Index: welche Seite werden ins Ranking aufgenommen?

Wie bereits erwähnt kategorisieren Suchmaschinen wie Google die Web-Inhalte per Crawler nach bestimmten Kriterien. Das sind zum einen die Rankingfaktoren für Seiten, mit denen man in der Suchmaschinenoptimierung arbeitet. Hierzu zählen beispielsweise der Content einer Seite und sinnvoll eingebrachte Keywords, aber auch technische SEO-Faktoren wie Ladezeiten. Auch die Linkstruktur einer Webseite ist wichtig. Wie viele Backlinks führen zu einer Seite? Sind die Links hochwertig? Passen die Linkgeber zum Inhalt der eigenen Webseite?

Zum anderen gibt es aber auch Kriterien, die nichts mit dem Ranking einer Seite zu tun haben beziehungsweise nicht optimiert werden können. Gemeint sind Webseiten, die zum Beispiel rechtsverletzende Inhalte zeigen. Diese werden von Suchmaschinen nicht in ihren Index aufgenommen. Das bedeutet allerdings nicht, dass diese Seiten nicht erreichbar sind, sie werden nur durch den normalen User nicht gefunden. Und dieser benutzt auf seinem „Weg“ durch das Netz nach wie vor am häufigsten eine Suchmaschine.

Allgemein kann eine Website durch eine Penalty aus dem Google Index fliegen. Eine Penalty ist eine Abstrafung, wenn eine Seite grob gegen die Google Webmaster Guidelines verstößt, eben Urheberrechtsverletzungen begeht oder auf Black Hat SEO zurückgreift.