# europakommentar.com – robots.txt
#
# Leitlinie (27.07.2026): TRAINING bleibt vorbehalten, ZITIEREN ist erwünscht.
#
# Die Nutzung der Inhalte zum Text-und-Data-Mining und zum Training von
# KI-Modellen ist vorbehalten (§ 44b Abs. 3 UrhG; Nutzungsbedingungen § 3).
# Maschinenlesbarer Vorbehalt zusätzlich unter /.well-known/tdmrep.json und als
# tdm-reservation-Meta.
#
# Ausdrücklich zugelassen sind dagegen Crawler, die Inhalte NICHT ins Modell
# übernehmen, sondern zur Beantwortung konkreter Nutzerfragen abrufen und dabei
# Quelle und Link nennen (KI-gestützte Suche). Ein Kommentar, der zitiert werden
# will, muss dort auffindbar sein, wo Juristen künftig suchen.
#
# WICHTIG für spätere Änderungen: Ein Crawler befolgt NUR die Gruppe seines
# eigenen User-agent, nicht zusätzlich "*". Die Archiv-Sperre muss deshalb in
# JEDER Gruppe wiederholt werden.

# ---------------------------------------------------------------------------
# Zugelassen: Abruf für KI-gestützte Suche und Antworten (mit Quellenangabe)
# ---------------------------------------------------------------------------

# OpenAI – Suchindex für ChatGPT Search
User-agent: OAI-SearchBot
Disallow: /de/dsgvo/*/archiv/
Disallow: /en/gdpr/*/archiv/
Allow: /

# OpenAI – Abruf auf konkrete Nutzeranfrage hin
User-agent: ChatGPT-User
Disallow: /de/dsgvo/*/archiv/
Disallow: /en/gdpr/*/archiv/
Allow: /

# Anthropic – Suchindex für Claude
User-agent: Claude-SearchBot
Disallow: /de/dsgvo/*/archiv/
Disallow: /en/gdpr/*/archiv/
Allow: /

# Anthropic – Abruf auf konkrete Nutzeranfrage hin
User-agent: Claude-User
Disallow: /de/dsgvo/*/archiv/
Disallow: /en/gdpr/*/archiv/
Allow: /

# Perplexity – Suchindex
User-agent: PerplexityBot
Disallow: /de/dsgvo/*/archiv/
Disallow: /en/gdpr/*/archiv/
Allow: /

# Perplexity – Abruf auf konkrete Nutzeranfrage hin
User-agent: Perplexity-User
Disallow: /de/dsgvo/*/archiv/
Disallow: /en/gdpr/*/archiv/
Allow: /

# ---------------------------------------------------------------------------
# Gesperrt: Sammeln von Trainingsmaterial für KI-Modelle
# ---------------------------------------------------------------------------

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Vorgänger von Claude-SearchBot/Claude-User; bleibt sicherheitshalber gesperrt.
User-agent: Claude-Web
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: CCBot
Disallow: /

# Steuert Gemini-Training und -Grounding. Bleibt gesperrt: Die AI Overviews der
# Google-Suche speisen sich aus dem regulären Suchindex (Googlebot) und sind von
# dieser Sperre NICHT betroffen – sie kostet also keine Sichtbarkeit.
User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: omgili
Disallow: /

User-agent: Timpibot
Disallow: /

# ---------------------------------------------------------------------------
# Alle übrigen (klassische Suchmaschinen sind willkommen)
# ---------------------------------------------------------------------------

User-agent: *
Disallow: /de/dsgvo/*/archiv/
Disallow: /en/gdpr/*/archiv/
Allow: /

Sitemap: https://europakommentar.com/sitemap.xml