robots.txt-generator
Opret crawlerregler, og download robots.txt.
Regler pr. crawler
Markering tilføjer Disallow: / for denne crawler.
Sådan virker det
Opret crawlerregler, og download robots.txt.
Tekniske oplysninger
robots.txt giver crawl-instruktioner og styrer ikke adgang. Google ignorerer Crawl-delay.
Tekniske oplysninger
Sådan virker det:
Opret crawlerregler, og download robots.txt. robots.txt giver crawl-instruktioner og styrer ikke adgang. Google ignorerer Crawl-delay.
Eksempel:
User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Tekniske oplysninger:
- >RFC 9309
Anvendelse:
- >Opret crawlerregler, og download robots.txt.
- >Inputtet behandles i browseren.
Ofte stillede spørgsmål
Hvad skal jeg være opmærksom på?
robots.txt giver crawl-instruktioner og styrer ikke adgang. Google ignorerer Crawl-delay.
Bliver mine data uploadet?
Nej. Behandlingen foregår i browseren.
Andre sprog
Referencer
Sådan kontrollerer vi resultaterne
Vi kontrollerer værktøjet med de automatiske tests nedenfor. Eksempler vises på originalsproget.
- Verification method
- Check User-agent, Allow/Disallow ordering and Sitemap lines from fixed rule blocks.
- Comparison reference
- Explicit expected robots.txt text.
- Verification scope
- These samples and boundaries do not prove correctness for every input.
Test source and cases (select a file to read it)
-
generator-reliability.test.js
- Robots generator: rule blocks preserve allow/disallow order, user agents and sitemap lines
Testene dækker de angivne eksempler og grænser, ikke alle mulige input. Tilbagekonvertering og samme bibliotek er ikke uafhængig verifikation.