Robots.txt

Die robots.txt ist eine einfache Textdatei, mit der ein Websitebetreiber Suchmaschinen und anderen automatischen Programmen mitteilt, welche Bereiche seiner Website sie abrufen dürfen und welche nicht. Sie ist das erste, was ein seriöser Crawler wie der Googlebot auf einer Domain anfragt, bevor er Seiten besucht. Für Onlineshops ist sie eines der wichtigsten Werkzeuge, um das Crawling auf die Seiten zu lenken, die gefunden werden sollen, und es von Filterkombinationen, Warenkorb oder Kundenkonto fernzuhalten.

Wo die robots.txt liegt

Die Datei heißt immer genau robots.txt, in Kleinbuchstaben, und liegt im obersten Verzeichnis eines Hosts:

https://www.ihr-shop.de/robots.txt

Eine robots.txt gilt nur für genau diesen Host, dieses Protokoll und diesen Port. Eine Subdomain wie shop.ihr-shop.de oder eine Länderdomain braucht eine eigene Datei. Liegt die robots.txt in einem Unterverzeichnis, wird sie ignoriert.

Wie die robots.txt aufgebaut ist

Die Datei besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren Zeilen User-agent, die festlegen, für welchen Crawler die Gruppe gilt. Darunter folgen die Regeln:

• User-agent: der Name des Crawlers, etwa Googlebot, oder ein Stern für alle Crawler.

• Disallow: ein Pfad, der nicht abgerufen werden soll.

• Allow: eine Ausnahme innerhalb eines gesperrten Bereichs.

• Sitemap: die vollständige Adresse der XML-Sitemap. Diese Zeile gehört zu keiner Gruppe und darf überall in der Datei stehen.

Ein typisches Beispiel für einen Onlineshop:

User-agent: *
Disallow: /checkout/
Disallow: /account/
Disallow: /*?order=
Disallow: /search

Sitemap: https://www.ihr-shop.de/sitemap.xml

Seit 2022 ist das Format als Internetstandard festgeschrieben (Robots Exclusion Protocol, RFC 9309). Die Grundidee stammt aus dem Jahr 1994.

Die wichtigsten Regeln

• Platzhalter: Der Stern steht für beliebige Zeichen, das Dollarzeichen für das Ende einer Adresse. Disallow: /*.pdf$ sperrt alle Adressen, die auf .pdf enden.

• Groß- und Kleinschreibung: Pfade werden genau so verglichen, wie sie geschrieben sind. /Checkout/ und /checkout/ sind zwei verschiedene Pfade.

• Die genaueste Regel gewinnt: Passen Allow und Disallow auf dieselbe Adresse, gilt die Regel mit dem längeren Pfad. Sind beide gleich lang, gewinnt bei Google Allow.

• Eine Gruppe pro Crawler: Ein Crawler befolgt nur die Gruppe, die am genauesten auf seinen Namen passt. Gibt es eine eigene Gruppe für Googlebot, ignoriert Googlebot die Regeln unter User-agent: * vollständig. Das ist einer der häufigsten Fehler überhaupt.

• Leeres Disallow: Disallow: ohne Pfad erlaubt alles.

• Dateigröße: Google liest nur die ersten 500 KiB einer robots.txt.

Was die robots.txt nicht kann

Die wichtigste Unterscheidung: Die robots.txt steuert das Crawling, nicht die Indexierung. Eine gesperrte Seite kann trotzdem in den Suchergebnissen erscheinen, wenn andere Seiten auf sie verlinken. Google zeigt sie dann ohne Beschreibung an, und die Search Console meldet „Indexiert, obwohl durch robots.txt-Datei blockiert“. Soll eine Seite aus dem Index verschwinden, braucht sie ein noindex in den Meta-Tags, und Google muss sie crawlen dürfen, um dieses noindex zu sehen.

Außerdem gilt:

• Kein Schutz: Die robots.txt ist öffentlich lesbar und eine Bitte, keine Sperre. Seriöse Crawler halten sich daran, andere nicht. Wer Pfade wie /intern/ einträgt, zeigt sie jedem, der die Datei aufruft. Vertrauliche Bereiche gehören hinter ein Passwort.

• Kein noindex: Die Anweisung noindex in der robots.txt unterstützt Google seit 2019 nicht mehr.

• Kein Crawl-delay bei Google: Diese Zeile ignoriert Google. Bing berücksichtigt sie.

Mehr zur Auswahl der Hauptversion steht im Eintrag zum Canonical-Tag.

Was passiert, wenn die robots.txt fehlt oder nicht erreichbar ist

• Datei fehlt (404): Google geht davon aus, dass alles gecrawlt werden darf. Das ist kein Fehler, aber eine verschenkte Möglichkeit.

• Serverfehler (5xx): Google stoppt das Crawling der Website vorübergehend, weil es nicht weiß, was erlaubt ist. Hält der Fehler länger an, greift Google auf die zuletzt bekannte Version zurück.

• Zwischenspeicher: Google speichert die robots.txt in der Regel bis zu 24 Stunden. Änderungen wirken deshalb nicht sofort.

Typische Fehler in Onlineshops

• Disallow: / vom Testsystem übernommen: Beim Livegang wird die robots.txt der Staging-Umgebung mitkopiert, und der ganze Shop ist für Suchmaschinen gesperrt.

• CSS und JavaScript gesperrt: Google kann die Seiten dann nicht richtig darstellen und bewertet sie schlechter.

• Seiten sperren, die aus dem Index sollen: Die Sperre verhindert, dass Google das noindex sieht. Die Seiten bleiben im Index.

• Eigene Gruppe vergessen: Wer eine Gruppe für einen einzelnen Crawler anlegt, muss dort alle Regeln wiederholen, die auch für ihn gelten sollen.

• Wichtige Filterseiten gesperrt: Nicht jede Filterseite ist überflüssig. Kombinationen mit echter Nachfrage können wertvolle Landingpages sein.

robots.txt in Shopware und Shopify

In Shopware 6 wird die robots.txt je nach Version und Hosting als Datei im öffentlichen Verzeichnis abgelegt oder über die Konfiguration gepflegt. Typische Kandidaten für Disallow sind Checkout, Kundenkonto, Sortier- und Filterparameter sowie die interne Suche. Bei mehreren Verkaufskanälen mit eigenen Domains braucht jede Domain die passende Datei.

Shopify erzeugt die robots.txt automatisch. Sie sperrt bereits Warenkorb, Checkout, Kundenkonto, Admin-Bereich und viele Filter- und Sortieradressen und enthält den Verweis auf die Sitemap. Anpassen lässt sie sich über die Vorlage robots.txt.liquid im Theme.

Fertige Vorlagen für beide Systeme und die Steuerung von KI-Crawlern wie GPTBot, ClaudeBot oder Google-Extended zeigt der Beitrag robots.txt für Shopware und Shopify im KI-Zeitalter. Mehr zu den Eigenheiten der Systeme unter Shopware SEO und Shopify SEO.

So prüfen Sie Ihre robots.txt

• Im Browser: Die Adresse ihr-shop.de/robots.txt aufrufen und lesen. Steht dort Disallow: / unter User-agent: *, ist der Shop gesperrt.

• In der Google Search Console: Der Bericht zur robots.txt zeigt, welche Version Google zuletzt abgerufen hat und ob es Fehler gab.

• Mit dem [robots.txt Checker](rc): Er prüft die Datei Ihres Shops in Sekunden, auch auf typische Fehler bei Shopware und Shopify und auf die Regeln für KI-Crawler.

Ob gesperrte Seiten trotzdem im Index stehen, zeigt der Beitrag zur Google-Indexierung.

Häufige Fragen

Brauche ich überhaupt eine robots.txt?

Nicht zwingend. Ohne Datei darf alles gecrawlt werden. Für Onlineshops ist sie trotzdem sinnvoll, weil Filter, Sortierung und Kundenbereiche sonst unnötig viel Crawling binden.

Entfernt eine Disallow-Regel eine Seite aus Google?

Nein. Disallow verhindert nur das Crawlen. Für das Entfernen aus dem Index braucht es noindex, und die Seite muss dafür crawlbar bleiben.

Wie schnell wirkt eine Änderung?

Google ruft die robots.txt regelmäßig neu ab und speichert sie meist bis zu 24 Stunden. In der Search Console lässt sich ein schnellerer Abruf anstoßen.

Kann ich KI-Crawler mit der robots.txt aussperren?

Ja, die großen Anbieter halten sich an die robots.txt. Wichtig ist die Unterscheidung zwischen Crawlern für das Training von KI-Modellen und Crawlern für die Suche in Echtzeit. Wer Letztere sperrt, verschwindet aus den Antworten dieser Assistenten. Mehr dazu im Eintrag zur Generative Engine Optimization.

Ist eine robots.txt ein Sicherheitsrisiko?

Nur, wenn sie vertrauliche Pfade verrät. Was geschützt werden muss, gehört hinter ein Passwort, nicht in die robots.txt.