Generatore robots.txt

Generatore robots.txt

Crea regole per i crawler e scarica robots.txt.

Regole per crawler

Selezionando aggiungi Disallow: / per quel crawler.

01

Come funziona

Crea regole per i crawler e scarica robots.txt.

02

Dettagli tecnici

robots.txt indica regole di scansione, non limita l’accesso. Google ignora Crawl-delay.

Dettagli tecnici

Come funziona:

Crea regole per i crawler e scarica robots.txt. robots.txt indica regole di scansione, non limita l’accesso. Google ignora Crawl-delay.

Esempio:

User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml

Dettagli tecnici:

  • >RFC 9309

Casi d’uso:

  • >Crea regole per i crawler e scarica robots.txt.
  • >I dati vengono elaborati nel browser.

Domande frequenti

A cosa devo prestare attenzione?

robots.txt indica regole di scansione, non limita l’accesso. Google ignora Crawl-delay.

I miei dati vengono caricati su un server?

No. L’elaborazione avviene nel browser.

Altre lingue

Robots.txt Generator — Base64.sh

Generatore robots.txt

Crea regole per i crawler e scarica robots.txt. I dati vengono elaborati nel browser.

Condividi:

X Facebook LinkedIn Reddit

Riferimenti

Come verifichiamo i risultati

Verifichiamo questo strumento con i test automatici collegati sotto. Gli esempi mantengono la lingua originale.

Verification method
Check User-agent, Allow/Disallow ordering and Sitemap lines from fixed rule blocks.
Comparison reference
Explicit expected robots.txt text.
Verification scope
These samples and boundaries do not prove correctness for every input.
Test source and cases (select a file to read it)

I test coprono gli esempi e i limiti indicati, non ogni possibile input. Una conversione di andata e ritorno o la stessa libreria non costituisce una verifica indipendente.