User-agent: *
Allow: /

# Sitemap
Sitemap: https://spider-couvreur.com/sitemap.xml

# Optimisations pour les moteurs de recherche
User-agent: Googlebot
Allow: /
Crawl-delay: 1

User-agent: Bingbot
Allow: /
Crawl-delay: 1

# Bloquer les fichiers sensibles
Disallow: /admin/
Disallow: /static/admin/
Disallow: /media/private/
Disallow: /*.json$
Disallow: /*.xml$ 
Allow: /sitemap.xml

# Bloquer les paramètres de session
Disallow: /*?sessionid=*
Disallow: /*?csrftoken=*

# Permettre l'indexation des images
Allow: /static/images/
Allow: /media/images/