robots.txt-generator
Maak crawlerregels en download robots.txt.
Regels per crawler
Aanvinken voegt Disallow: / toe voor deze crawler.
Zo werkt het
Maak crawlerregels en download robots.txt.
Technische uitleg
robots.txt geeft crawlinstructies en regelt geen toegang. Google negeert Crawl-delay.
Technische uitleg
Zo werkt het:
Maak crawlerregels en download robots.txt. robots.txt geeft crawlinstructies en regelt geen toegang. Google negeert Crawl-delay.
Voorbeeld:
User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Technische uitleg:
- >RFC 9309
Toepassingen:
- >Maak crawlerregels en download robots.txt.
- >De invoer wordt in je browser verwerkt.
Veelgestelde vragen
Waar moet ik op letten?
robots.txt geeft crawlinstructies en regelt geen toegang. Google negeert Crawl-delay.
Wordt mijn invoer geüpload?
Nee. De verwerking gebeurt in je browser.
Andere talen
Referenties
Hoe we resultaten controleren
We controleren dit hulpmiddel met de onderstaande automatische tests. Voorbeelden staan in hun oorspronkelijke taal.
- Verification method
- Check User-agent, Allow/Disallow ordering and Sitemap lines from fixed rule blocks.
- Comparison reference
- Explicit expected robots.txt text.
- Verification scope
- These samples and boundaries do not prove correctness for every input.
Test source and cases (select a file to read it)
-
generator-reliability.test.js
- Robots generator: rule blocks preserve allow/disallow order, user agents and sitemap lines
De tests dekken de genoemde voorbeelden en grenzen, niet elke mogelijke invoer. Terugconversie en tests met dezelfde bibliotheek zijn geen onafhankelijke verificatie.