Generatore robots.txt
Crea regole per i crawler e scarica robots.txt.
Regole per crawler
Selezionando aggiungi Disallow: / per quel crawler.
Come funziona
Crea regole per i crawler e scarica robots.txt.
Dettagli tecnici
robots.txt indica regole di scansione, non limita l’accesso. Google ignora Crawl-delay.
Dettagli tecnici
Come funziona:
Crea regole per i crawler e scarica robots.txt. robots.txt indica regole di scansione, non limita l’accesso. Google ignora Crawl-delay.
Esempio:
User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Dettagli tecnici:
- >RFC 9309
Casi d’uso:
- >Crea regole per i crawler e scarica robots.txt.
- >I dati vengono elaborati nel browser.
Domande frequenti
A cosa devo prestare attenzione?
robots.txt indica regole di scansione, non limita l’accesso. Google ignora Crawl-delay.
I miei dati vengono caricati su un server?
No. L’elaborazione avviene nel browser.
Altre lingue
Riferimenti
Come verifichiamo i risultati
Verifichiamo questo strumento con i test automatici collegati sotto. Gli esempi mantengono la lingua originale.
- Verification method
- Check User-agent, Allow/Disallow ordering and Sitemap lines from fixed rule blocks.
- Comparison reference
- Explicit expected robots.txt text.
- Verification scope
- These samples and boundaries do not prove correctness for every input.
Test source and cases (select a file to read it)
-
generator-reliability.test.js
- Robots generator: rule blocks preserve allow/disallow order, user agents and sitemap lines
I test coprono gli esempi e i limiti indicati, non ogni possibile input. Una conversione di andata e ritorno o la stessa libreria non costituisce una verifica indipendente.