robots.txt-generator
Skapa sökrobotregler och ladda ner robots.txt.
Regler per sökrobot
Markera för att lägga till Disallow: / för roboten.
Så fungerar det
Skapa sökrobotregler och ladda ner robots.txt.
Teknisk information
robots.txt ger instruktioner för genomsökning och styr inte åtkomst. Google ignorerar Crawl-delay.
Teknisk information
Så fungerar det:
Skapa sökrobotregler och ladda ner robots.txt. robots.txt ger instruktioner för genomsökning och styr inte åtkomst. Google ignorerar Crawl-delay.
Exempel:
User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Teknisk information:
- >RFC 9309
Användningsområden:
- >Skapa sökrobotregler och ladda ner robots.txt.
- >Indata bearbetas i webbläsaren.
Vanliga frågor
Vad bör jag tänka på?
robots.txt ger instruktioner för genomsökning och styr inte åtkomst. Google ignorerar Crawl-delay.
Laddas mina data upp?
Nej. Bearbetningen sker i webbläsaren.
Andra språk
Referenser
Så kontrollerar vi resultaten
Vi kontrollerar verktyget med de automatiska testerna nedan. Exempel visas på originalspråket.
- Verification method
- Check User-agent, Allow/Disallow ordering and Sitemap lines from fixed rule blocks.
- Comparison reference
- Explicit expected robots.txt text.
- Verification scope
- These samples and boundaries do not prove correctness for every input.
Test source and cases (select a file to read it)
-
generator-reliability.test.js
- Robots generator: rule blocks preserve allow/disallow order, user agents and sitemap lines
Testerna täcker angivna exempel och gränser, inte alla möjliga indata. Återkonvertering och samma bibliotek är inte oberoende verifiering.