1. Moderne KI-Crawler User-Agents und spezifische Zugriffssteuerungen
Führende KI-Unternehmen respektieren dedizierte User-Agent-Token. Das Definieren spezifischer Allow- und Disallow-Blöcke gibt Webmastern die volle Kontrolle darüber, ob Inhalte für das Modelltraining genutzt oder in KI-Antworten zitiert werden dürfen: - **GPTBot:** Crawler für das Training der OpenAI-Modelle. - **ChatGPT-User:** Wird aktiv ausgelöst, wenn ChatGPT-Nutzer Web-Browsing anfordern. - **ClaudeBot / Claude-Web:** Indexierungs- und Abfrage-Bots von Anthropic. - **PerplexityBot:** Antwort- und Zitations-Crawler von Perplexity AI.
text Code Example
# KI-Modelltraining sperren bei voller Suchmaschinen-Indexierung:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cdn-cgi/l/Konforme Konfiguration nach RFC 9309 zur Differenzierung von KI-Bots.
2. Die RFC 9309 Longest-Match-Rangfolge für Pfadregeln verstehen
Gemäß der formalen IETF-Spezifikation RFC 9309 gilt bei aufeinandertreffenden `Allow`- und `Disallow`-Regeln für denselben Pfad immer die Regel mit der längsten Zeichenkette. Wenn beispielsweise `Disallow: /tools/` und `Allow: /tools/format/` deklariert sind, ist der Zugriff auf `/tools/format/` erlaubt, da der Allow-Pfad spezifischer ist.
3. Trennung von KI-Modelltraining und Echtzeit-Zitationen
Das Blockieren von Trainings-Crawlern wie GPTBot verhindert nicht, dass Ihre Inhalte in Antworten genannt werden, sofern Sie Echtzeit-Bots wie ChatGPT-User oder Googlebot den Zugriff gewähren. Dies schützt geistiges Eigentum bei gleichzeitiger Wahrung von Traffic-Chancen.
4. Schutz interner Systempfade und Einbindung von XML-Sitemaps
Achten Sie darauf, interne Systemverzeichnisse gezielt abzusichern, ohne versehentlich CSS- oder JavaScript-Ressourcen zu blockieren. Am Ende der Datei sollte stets die kanonische XML-Sitemap deklariert sein.