Générateur robots.txt
Créez des règles de crawl et téléchargez robots.txt.
Règles par robot
Cocher ajoute une règle Disallow: / pour ce robot.
01
Fonctionnement
Créez des règles de crawl et téléchargez robots.txt.
02
Détails techniques
robots.txt indique des consignes de crawl, pas des droits d’accès. Google ignore Crawl-delay.
Détails techniques
Fonctionnement:
Créez des règles de crawl et téléchargez robots.txt. robots.txt indique des consignes de crawl, pas des droits d’accès. Google ignore Crawl-delay.
Exemple:
User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Détails techniques:
- >RFC 9309
Cas d’usage:
- >Créez des règles de crawl et téléchargez robots.txt.
- >Les données sont traitées dans votre navigateur.
Questions fréquentes
Quels points faut-il vérifier ?
robots.txt indique des consignes de crawl, pas des droits d’accès. Google ignore Crawl-delay.
Mes données sont-elles envoyées à un serveur ?
Non. Le traitement se déroule dans votre navigateur.