robots.txt-generator
Lag søkerobotregler og last ned robots.txt.
Regler per søkerobot
Avkryssing legger til Disallow: / for denne roboten.
Slik fungerer det
Lag søkerobotregler og last ned robots.txt.
Teknisk informasjon
robots.txt gir søkeroboter instruksjoner og styrer ikke tilgang. Google ignorerer Crawl-delay.
Teknisk informasjon
Slik fungerer det:
Lag søkerobotregler og last ned robots.txt. robots.txt gir søkeroboter instruksjoner og styrer ikke tilgang. Google ignorerer Crawl-delay.
Eksempel:
User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Teknisk informasjon:
- >RFC 9309
Bruksområder:
- >Lag søkerobotregler og last ned robots.txt.
- >Inndataene behandles i nettleseren.
Vanlige spørsmål
Hva bør jeg være oppmerksom på?
robots.txt gir søkeroboter instruksjoner og styrer ikke tilgang. Google ignorerer Crawl-delay.
Blir dataene mine lastet opp?
Nei. Behandlingen skjer i nettleseren.
Andre språk
Referanser
Slik kontrollerer vi resultatene
Vi kontrollerer verktøyet med de automatiske testene nedenfor. Eksempler vises på originalspråket.
- Verification method
- Check User-agent, Allow/Disallow ordering and Sitemap lines from fixed rule blocks.
- Comparison reference
- Explicit expected robots.txt text.
- Verification scope
- These samples and boundaries do not prove correctness for every input.
Test source and cases (select a file to read it)
-
generator-reliability.test.js
- Robots generator: rule blocks preserve allow/disallow order, user agents and sitemap lines
Testene dekker oppgitte eksempler og grenser, ikke alle mulige inndata. Tilbakekonvertering og samme bibliotek er ikke uavhengig verifikasjon.