robots.txt-generator

robots.txt-generator

Maak crawlerregels en download robots.txt.

Regels per crawler

Aanvinken voegt Disallow: / toe voor deze crawler.

01

Zo werkt het

Maak crawlerregels en download robots.txt.

02

Technische uitleg

robots.txt geeft crawlinstructies en regelt geen toegang. Google negeert Crawl-delay.

Technische uitleg

Zo werkt het:

Maak crawlerregels en download robots.txt. robots.txt geeft crawlinstructies en regelt geen toegang. Google negeert Crawl-delay.

Voorbeeld:

User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml

Technische uitleg:

  • >RFC 9309

Toepassingen:

  • >Maak crawlerregels en download robots.txt.
  • >De invoer wordt in je browser verwerkt.

Veelgestelde vragen

Waar moet ik op letten?

robots.txt geeft crawlinstructies en regelt geen toegang. Google negeert Crawl-delay.

Wordt mijn invoer geüpload?

Nee. De verwerking gebeurt in je browser.

Andere talen

Robots.txt Generator — Base64.sh

robots.txt-generator

Maak crawlerregels en download robots.txt. De invoer wordt in je browser verwerkt.

Delen:

X Facebook LinkedIn Reddit

Referenties

Hoe we resultaten controleren

We controleren dit hulpmiddel met de onderstaande automatische tests. Voorbeelden staan in hun oorspronkelijke taal.

Verification method
Check User-agent, Allow/Disallow ordering and Sitemap lines from fixed rule blocks.
Comparison reference
Explicit expected robots.txt text.
Verification scope
These samples and boundaries do not prove correctness for every input.
Test source and cases (select a file to read it)

De tests dekken de genoemde voorbeelden en grenzen, niet elke mogelijke invoer. Terugconversie en tests met dezelfde bibliotheek zijn geen onafhankelijke verificatie.