# =============================================================================
# robots.txt - GrokPilot
# Optimisé pour les crawlers IA (2025+)
# https://grokpilot.pland-pro.com/robots.txt
# =============================================================================

# -----------------------------------------------------------------------------
# Moteurs de recherche classiques - BIENVENUE
# -----------------------------------------------------------------------------
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: Yandex
Allow: /

User-agent: Baiduspider
Allow: /

# -----------------------------------------------------------------------------
# Crawlers IA - BIENVENUE (le futur est là)
# -----------------------------------------------------------------------------

# OpenAI / ChatGPT
User-agent: GPTBot
Allow: /

# OpenAI pour plugins
User-agent: ChatGPT-User
Allow: /

# Google Gemini / Bard
User-agent: Google-Extended
Allow: /

# Anthropic Claude
User-agent: Claude-Web
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /

# Perplexity AI
User-agent: PerplexityBot
Allow: /

# Meta AI
User-agent: FacebookBot
Allow: /
User-agent: Meta-ExternalAgent
Allow: /

# Microsoft Copilot
User-agent: Copilot
Allow: /

# Cohere AI
User-agent: cohere-ai
Allow: /

# You.com
User-agent: YouBot
Allow: /

# Apple (Siri, etc.)
User-agent: Applebot
Allow: /
User-agent: AppleNewsBot
Allow: /

# Common Crawl (utilisé pour entraîner les LLMs)
User-agent: CCBot
Allow: /

# Diffbot (extraction de données)
User-agent: Diffbot
Allow: /

# -----------------------------------------------------------------------------
# Règles par défaut
# -----------------------------------------------------------------------------
User-agent: *
Allow: /

# Fichiers à ne pas indexer
Disallow: /private/
Disallow: /admin/
Disallow: /*.log$
Disallow: /*.sql$

# -----------------------------------------------------------------------------
# Sitemap
# -----------------------------------------------------------------------------
Sitemap: https://grokpilot.pland-pro.com/sitemap.xml

# -----------------------------------------------------------------------------
# Crawl-delay (optionnel - respectueux des serveurs)
# -----------------------------------------------------------------------------
# Crawl-delay: 1

# =============================================================================
# "L'IA n'est pas le futur. C'est le présent qui accélère."
# - Oscar, Webmaster Draveil (91)
# =============================================================================