Was ist ein Webcrawler?
Ein Webcrawler ist ein Programm, das Webseiten automatisch abruft, ihre Inhalte liest und den Links darauf zu weiteren Seiten folgt. Suchmaschinen wie Google und Bing finden so die Seiten für ihren Index. Auch KI-Anbieter wie OpenAI und Perplexity betreiben eigene Crawler, die sich über die robots.txt steuern lassen.
Wie arbeitet ein Crawler?
Ein Crawler startet mit bekannten Adressen, ruft sie ab und sammelt die Links, die er dort findet. Neue Adressen erfährt er außerdem aus Sitemaps. Seriöse Crawler lesen vorher die robots.txt und halten sich an deren Regeln. Beim Googlebot stammen die meisten Abrufe vom Smartphone-Crawler, weil Google vor allem die mobile Version einer Website indexiert. Für die Google-Suche verarbeitet er bei unterstützten Dateitypen die ersten 2 MB, bei PDFs die ersten 64 MB, jeweils unkomprimiert gemessen. CSS- und JavaScript-Dateien ruft er einzeln ab. Im Schnitt soll der Googlebot eine Website laut Google nicht öfter als alle paar Sekunden besuchen.
Die wichtigsten Crawler
| Name | Betreiber | Zweck |
|---|---|---|
| Googlebot | Crawling für die Google-Suche, als Smartphone- und Desktop-Variante. | |
| Google-Extended | Kein eigener Crawler, sondern ein Token in der robots.txt. Es steuert, ob Inhalte für Gemini-Modelle genutzt werden, und hat laut Google keinen Einfluss auf die Google-Suche. | |
| Bingbot | Microsoft | Crawling für die Suchmaschine Bing. |
| GPTBot | OpenAI | Sammelt Inhalte, die für das Training von KI-Modellen genutzt werden können. |
| OAI-SearchBot | OpenAI | Sorgt dafür, dass Websites in der Suche von ChatGPT erscheinen. |
| PerplexityBot | Perplexity | Findet Websites für die Suchergebnisse von Perplexity. |
Weil Training und Suche getrennt sind, können Sie gezielt entscheiden. Dieses Beispiel sperrt das Training durch OpenAI, lässt die ChatGPT-Suche aber zu:
User-agent: GPTBot Disallow: / User-agent: OAI-SearchBot Allow: /
Laut OpenAI dauert es etwa 24 Stunden, bis eine Änderung wirkt. Abrufe, die ein Nutzer direkt auslöst, etwa durch ChatGPT-User oder Perplexity-User, halten sich laut den Anbietern nicht unbedingt an die robots.txt.
Echte Crawler erkennen
Den Namen eines Crawlers kann jeder Bot in seine Kennung schreiben. Google empfiehlt deshalb eine Prüfung über DNS: Der Rückwärts-Lookup der IP-Adresse muss auf googlebot.com, google.com oder googleusercontent.com enden, und der Vorwärts-Lookup dieses Namens muss wieder dieselbe IP ergeben. Zusätzlich veröffentlichen Google, Microsoft, OpenAI und Perplexity Listen ihrer IP-Adressen.
Crawl-Budget: Betrifft Sie das?
Google hat einen eigenen Leitfaden zum Crawl-Budget, also zur Menge an Seiten, die Google crawlen kann und will. Er richtet sich grob an Websites mit mehr als einer Million Seiten, die sich wöchentlich ändern, oder mehr als 10.000 Seiten mit täglichen Änderungen. Für die Website eines typischen Wiener Unternehmens ist das kein Thema.
Rufen Sie Ihre-Domain.at/robots.txt auf und sehen Sie nach, welche Crawler gesperrt sind. In der Google Search Console zeigt der Bericht „Crawling-Statistiken“ unter Einstellungen, wie oft der Googlebot Ihre Website abruft, und die URL-Prüfung nennt für jede Seite den letzten Crawl. Wer Zugriff auf die Server-Logs hat, kann dort nach Kennungen wie Googlebot, GPTBot oder OAI-SearchBot filtern.
Häufige Fragen
Soll ich KI-Crawler blockieren?
Das ist eine geschäftliche Entscheidung. Wer GPTBot sperrt, verhindert nur die Nutzung für das Training. Wer dagegen OAI-SearchBot oder PerplexityBot sperrt, verschwindet aus deren Suchantworten. Für Sichtbarkeit in KI-Suchen sollten die Such-Crawler daher offen bleiben.
Halten sich alle Crawler an die robots.txt?
Nein. Die Crawler von Google, Bing, OpenAI und Perplexity für automatisches Crawling folgen ihr laut den Anbietern. Abrufe, die ein Nutzer direkt auslöst, können davon abweichen, und schädliche Bots ignorieren die Datei. Die robots.txt ist deshalb kein Zugriffsschutz.
Kann ich den Googlebot nur für die Desktop-Version sperren?
Nein. Smartphone- und Desktop-Crawler von Google teilen sich in der robots.txt denselben Namen Googlebot. Regeln dafür gelten immer für beide Varianten.