robots.txt für AI-Crawler: Bots nach ihrem Zweck konfigurieren
Search, nutzerinitiierter Abruf und Training sind verschiedene Zwecke. Dieser Guide zeigt, wie robots.txt- und WAF-Regeln ohne falsche Sichtbarkeitsversprechen geplant und geprüft werden.
Warum muss eine Bot-Policy nach Zweck getrennt werden?
AI-Anbieter verwenden unterschiedliche Crawler für Websuche, nutzerinitiierte Abrufe und Modelltraining. Eine Freigabe für Training ist deshalb keine Voraussetzung für Sichtbarkeit in einer AI-Suche. Umgekehrt beweist ein erfolgreicher Request mit frei gewähltem User-Agent nicht, dass ein echter Anbieter-Bot die Seite erreicht hat.
Für einen belastbaren Audit werden mindestens vier Bereiche getrennt dokumentiert:
| Zweck | Beispiele | Bedeutung |
|---|---|---|
| Search / Discovery | Googlebot, OAI-SearchBot, Claude-SearchBot, PerplexityBot | Kann die Auffindbarkeit in der jeweiligen Suche betreffen |
| Nutzerinitiierter Fetch | ChatGPT-User, Claude-User, Perplexity-User | Abruf im Auftrag eines Nutzers; Anbieterregeln können von automatischem Crawling abweichen |
| Training / Lizenzierung | GPTBot, ClaudeBot, Google-Extended | Geschäfts- und Datenpolicy, kein Search-Rankingsignal |
| Other | weitere dokumentierte Bots | Nur nach offiziellem Zweck und konkretem Use Case bewerten |
Die Zuordnung sollte regelmäßig gegen die OpenAI-Botdokumentation, die Anthropic-Crawler-Dokumentation, die Perplexity-Dokumentation und die Google-Crawlerübersicht geprüft werden.
Wie wird robots.txt sinnvoll konfiguriert?
Öffentliche Inhalte, die in Search auffindbar sein sollen, müssen für den jeweiligen Search-Crawler erreichbar sein. Private, personalisierte, administrative oder zahlungspflichtige Bereiche bleiben unabhängig davon geschützt. Eine mögliche Ausgangskonfiguration sieht so aus:
User-agent: *
Disallow: /admin/
Disallow: /account/
Disallow: /checkout/
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Sitemap: https://ihre-domain.de/sitemap.xml
Die Regeln für GPTBot, ClaudeBot oder Google-Extended werden separat nach Training- und Lizenzierungsentscheidung festgelegt. Google weist ausdrücklich darauf hin, dass Google-Extended weder die Aufnahme in Google Search noch das Ranking steuert.
Was muss neben robots.txt geprüft werden?
robots.txt ist nur eine Ebene. CDN, WAF, Bot-Management, Rate Limits, Authentifizierung und Anwendungscode können denselben Request zusätzlich blockieren. Deshalb umfasst ein technischer Check:
- robots.txt-Regel für den konkreten User-Agent und Pfad auswerten;
- HTTP-Status, Redirect-Kette und auslieferbaren Inhalt prüfen;
- WAF-/CDN-Logs auf Challenges oder Blockaden untersuchen;
- veröffentlichte IP-Bereiche oder Reverse-DNS verwenden, sofern der Anbieter dies dokumentiert;
- private und irreversible Oberflächen weiterhin schützen.
Ein einfacher curl -A-Request ist ein nützlicher Funktionstest, aber kein Identitätsnachweis. Der User-Agent lässt sich beliebig fälschen.
Wie werden Ergebnisse berichtet?
GeoRanks Score v2 führt Search-/Discovery-Zugriff im separaten Surface „AI Search Discovery & Citation Measurement“. User-Fetcher erscheinen informativ. Training und Lizenzierung bilden einen unbewerteten Policy-Report. So kann eine Organisation Training blockieren, ohne dass der Audit daraus einen künstlichen Sichtbarkeitsverlust berechnet.
Fazit
Eine gute Bot-Policy erlaubt nicht pauschal „alle AI-Crawler“. Sie ordnet jeden Bot einem belegten Zweck zu, schützt sensible Daten und misst Search, Nutzerabruf und Training getrennt. GEO-Audit starten.