# Anthropic ClaudeBot / Claude-User
User-agent: ClaudeBot
Crawl-delay: 10

User-agent: Claude-User
Crawl-delay: 10

# OpenAI GPTBot (Trainings-Crawler, planmaessig) respektiert Crawl-delay laut Doku.
# OAI-SearchBot und ChatGPT-User sind nutzergetriebene Echtzeit-Abrufe und ignorieren
# Crawl-delay i.d.R. - daher hier bewusst nicht mit aufgenommen.
User-agent: GPTBot
Crawl-delay: 10

# Bing respektiert Crawl-delay offiziell
User-agent: Bingbot
Crawl-delay: 5

# Yandex respektiert Crawl-delay offiziell
User-agent: YandexBot
Crawl-delay: 10

# Majestic MJ12bot respektiert Crawl-delay offiziell (max. 20s)
User-agent: MJ12bot
Crawl-delay: 10

# Bytespider ignoriert robots.txt/Crawl-delay laut mehreren unabhaengigen
# Analysen nachweislich oft, Eintrag dient nur der Dokumentation der Absicht.
User-agent: Bytespider
Disallow: /

# Alle anderen Crawler (Googlebot, Baiduspider, Amazonbot, PerplexityBot, ...):
# keine Crawl-delay-Vorgabe, da von diesen Bots offiziell nicht unterstuetzt
# bzw. im Log unauffaellig.
User-agent: *
Disallow: