# Bloquear acceso a áreas administrativas y archivos sensibles
User-agent: *
Disallow: /wp-admin/  # Bloquea acceso al área administrativa
Disallow: /wp-includes/  # Bloquea archivos internos de WordPress
Disallow: /wp-content/plugins/  # Bloquea plugins
Disallow: /wp-content/themes/  # Bloquea temas
Disallow: /xmlrpc.php  # Endpoint inseguro, no necesario para motores de búsqueda
Disallow: /wp-json/  # Bloquea la API REST, innecesaria para SEO
Disallow: /trackback/  # Bloquea trackbacks
Disallow: /?s=  # Bloquea búsquedas internas
Disallow: /feed/  # Bloquea feeds RSS
Disallow: /comments/  # Bloquea comentarios

# Permitir rastreo de recursos importantes
Allow: /wp-content/uploads/  # Imágenes y recursos multimedia

# Bloquear tipos de archivos innecesarios para el SEO
Disallow: /*.php$  # Bloquea archivos PHP
Disallow: /*.cgi$  # Bloquea scripts CGI
Disallow: /*.js$  # Bloquea JavaScript
Disallow: /*.css$  # Bloquea hojas de estilo
Disallow: /*.json$  # Bloquea JSON
Disallow: /*.swf$  # Bloquea archivos Flash

# Evitar rastreo de parámetros comunes que no aportan valor al SEO
Disallow: /*?*utm_*  # Parámetros de seguimiento (Google Analytics, etc.)
Disallow: /*?*replytocom  # Bloquea parámetros de respuesta en comentarios

# Especificar la ubicación del sitemap
Sitemap: https://glscope.com/sitemap_index.xml

# Configuración específica para bots principales
User-agent: Googlebot
Allow: /wp-content/uploads/  # Asegura el rastreo de imágenes
Crawl-delay: 5  # Reduce la velocidad de rastreo si el servidor es sensible

User-agent: Bingbot
Crawl-delay: 10  # Controla el rastreo para evitar sobrecarga del servidor

# Reglas avanzadas para bots intensivos
User-agent: AhrefsBot
Crawl-delay: 20  # Limita el rastreo intensivo

User-agent: SemrushBot
Crawl-delay: 15