Was ist der X-Robots-Tag?
Der X-Robots-Tag ist ein HTTP-Header, mit dem ein Server Suchmaschinen Anweisungen zur Indexierung und Darstellung gibt, etwa noindex. Er wirkt wie das Robots-Meta-Tag, funktioniert aber auch bei Dateien ohne HTML wie PDFs oder Bildern und lässt sich in der Serverkonfiguration für viele Dateien auf einmal setzen.
So sieht der Header aus
Der Server schickt die Anweisung mit der Antwort auf eine Anfrage mit. Mehrere Regeln trennen Sie mit Komma oder senden mehrere Header-Zeilen. Steht der Name eines Crawlers davor, gilt die Regel nur für ihn, ohne Namen gilt sie für alle.
HTTP/1.1 200 OK Content-Type: application/pdf X-Robots-Tag: noindex, nofollow X-Robots-Tag: googlebot: nosnippet
Groß- und Kleinschreibung spielen keine Rolle. Widersprechen sich zwei Regeln, gilt laut Google die strengere. Unbekannte Werte werden ignoriert.
Die wichtigsten Regeln
| Regel | Wirkung |
|---|---|
| noindex | Seite oder Datei erscheint nicht in den Suchergebnissen |
| nofollow | Links auf der Seite werden nicht verfolgt |
| none | entspricht noindex und nofollow zusammen |
| nosnippet | kein Textauszug, gilt laut Google auch für die Übersicht mit KI und den KI-Modus |
| max-snippet:[Zahl] | höchstens so viele Zeichen im Textauszug |
| max-image-preview:[none, standard, large] | maximale Größe der Bildvorschau |
| noimageindex | Bilder auf der Seite werden nicht indexiert |
| unavailable_after:[Datum] | nach diesem Datum nicht mehr in den Ergebnissen |
Andere Suchmaschinen können die Regeln anders auslegen. Bing unterstützt den X-Robots-Tag ebenfalls.
Meta-Tag oder Header: wann was?
Für normale HTML-Seiten genügt meist das Robots-Meta-Tag im head, das SEO-Plugins wie Yoast pro Seite setzen. Der Header ist die Wahl für PDFs, Bilder und andere Dateien ohne head und für Regeln, die per Serverkonfiguration für ganze Dateitypen gelten sollen. So halten Sie alle PDFs aus dem Index:
# Apache (.htaccess)
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>
# nginx
location ~* \.pdf$ {
add_header X-Robots-Tag "noindex, nofollow";
}Wichtig: Eine per robots.txt gesperrte URL ruft Google nicht ab und sieht den Header daher nie. Verlinken andere Seiten darauf, kann sie trotzdem in den Ergebnissen erscheinen. Was aus dem Index soll, darf also nicht gleichzeitig in der robots.txt gesperrt sein.
Öffnen Sie im Browser die Entwicklertools (F12), wechseln Sie zum Reiter Netzwerk und laden Sie die Datei neu. Klicken Sie auf den Eintrag und suchen Sie unter den Antwort-Headern nach X-Robots-Tag. Auf der Kommandozeile zeigt der Befehl curl -I mit der Adresse nur die Header. Ob Google die Anweisung gesehen hat, zeigt die URL-Prüfung in der Search Console, und der Bericht Seitenindexierung listet alle Seiten, die durch noindex ausgeschlossen sind.
Häufige Fragen
Was ist der Unterschied zwischen X-Robots-Tag und Robots-Meta-Tag?
Beide kennen dieselben Regeln. Das Meta-Tag steht im HTML-Code einer Seite, der X-Robots-Tag im HTTP-Header der Serverantwort. Für PDFs, Bilder und andere Dateien ohne HTML funktioniert nur der Header.
Kann ich mit dem X-Robots-Tag das Crawlen verhindern?
Nein. Der Header steuert Indexierung und Darstellung, nicht den Abruf. Google muss die Datei sogar abrufen, um ihn zu lesen. Das Crawlen steuern Sie mit der robots.txt, dann sieht Google aber auch keine noindex-Anweisung.
Wie lange dauert es, bis eine Datei mit noindex aus Google verschwindet?
Die Anweisung wirkt erst, wenn Google die URL erneut crawlt. Das kann laut Google je nach Seite Monate dauern. Über die URL-Prüfung der Search Console können Sie ein erneutes Crawlen beantragen.