###########################################
# ROBOTS.TXT OPTIMIZADO PARA SEO + IA
# Permite rastreo por buscadores y modelos de IA
###########################################

# -----------------------------------------
# 1) REGLA GLOBAL
# Permitir totalmente el acceso a cualquier bot
# excepto si se añade una regla específica abajo.
# -----------------------------------------
User-agent: *
Allow: /

###########################################
# 2) BOTS DE IA PRINCIPALES
###########################################

# --- OPENAI / CHATGPT ---
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

# --- ANTHROPIC (CLAUDE) ---
User-agent: ClaudeBot
Allow: /

# --- GOOGLE AI ---
# Permisos para que Google use tu contenido en sus modelos de IA
User-agent: Google-Extended
Allow: /

# --- META (LLAMA) ---
User-agent: Meta-ExternalAgent
Allow: /

# --- PERPLEXITY ---
User-agent: PerplexityBot
Allow: /

# --- COMMON CRAWL (muy importante para datasets IA) ---
User-agent: CCBot
Allow: /

# --- YOU.COM ---
User-agent: YouBot
Allow: /

###########################################
# 3) BOTS ADICIONALES RECOMENDADOS
###########################################

# Bing AI (Copilot)
User-agent: BingPreview
Allow: /

# NeevaAI (aunque dejó de operar, algunos scrapers siguen activos)
User-agent: NeevaBot
Allow: /

###########################################
# 4) PROTECCIONES BÁSICAS (sin bloquear IA)
###########################################

# Bloqueo de carpetas sensibles (no útiles para IA ni SEO)
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php


# Sitemap (opcional pero recomendado)
Sitemap: https://padelbarcelona.es/sitemap_index.xml