robots.txt: Aufbau, Beispiele und KI-Crawler
Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website (z. B. beispiel.at/robots.txt). Sie sagt Crawlern von Suchmaschinen und KI-Anbietern, welche Bereiche sie abrufen dürfen und welche nicht. Sie steuert das Crawlen, nicht die Indexierung, und ist kein Schutz für vertrauliche Inhalte.
Aufbau mit Beispiel
Die Regeln gelten je Crawler (User-agent). „Disallow“ sperrt einen Pfad, „Allow“ gibt ihn frei, „Sitemap“ zeigt auf die XML-Sitemap:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://beispiel.at/sitemap_index.xml
Das Protokoll ist seit 2022 als Internet-Standard (RFC 9309) beschrieben. Seriöse Crawler halten sich daran; verpflichtet sind sie nicht.
Der häufigste Fehler: Sperren statt noindex
Eine in der robots.txt gesperrte Seite kann trotzdem in Google erscheinen, wenn andere Seiten auf sie verlinken – dann ohne Beschreibung. Wer eine Seite aus dem Index halten will, setzt ein noindex und lässt sie in der robots.txt frei. Nur so kann Google das noindex überhaupt lesen.
KI-Crawler zulassen oder sperren
| Crawler | Anbieter | Wofür |
|---|---|---|
| GPTBot | OpenAI | Training der Modelle |
| OAI-SearchBot | OpenAI | Suche in ChatGPT |
| ClaudeBot | Anthropic | Claude |
| PerplexityBot | Perplexity | Suche in Perplexity |
| Google-Extended | Nutzung für Gemini-Modelle |
Wichtig für GEO: Wer die Crawler der KI-Suche sperrt, kann dort nicht als Quelle erscheinen. Google-Extended zu sperren betrifft dagegen nicht die normale Google-Suche oder die AI Overviews.
Auf promeseo.com sind Impressum, AGB und Datenschutzerklärung auf noindex gesetzt und bewusst nicht in der robots.txt gesperrt. So erkennt Google das noindex, und die Rechtstexte erscheinen nicht in den Suchergebnissen.
Häufige Fragen
Brauche ich eine robots.txt?
Nicht zwingend. Ohne Datei dürfen Crawler alles abrufen. WordPress erzeugt automatisch eine einfache Version.
Kann ich damit vertrauliche Seiten schützen?
Nein. Die Datei ist öffentlich lesbar und nur eine Bitte an Crawler. Vertrauliches gehört hinter ein Passwort.
Soll ich KI-Crawler sperren?
Nur wenn Sie bewusst nicht in KI-Antworten erscheinen wollen. Für die meisten Unternehmen ist Sichtbarkeit in ChatGPT & Co. ein Vorteil.