robots.txt-generator

robots.txt-generator

Opret crawlerregler, og download robots.txt.

Regler pr. crawler

Markering tilføjer Disallow: / for denne crawler.

01

Sådan virker det

Opret crawlerregler, og download robots.txt.

02

Tekniske oplysninger

robots.txt giver crawl-instruktioner og styrer ikke adgang. Google ignorerer Crawl-delay.

Tekniske oplysninger

Sådan virker det:

Opret crawlerregler, og download robots.txt. robots.txt giver crawl-instruktioner og styrer ikke adgang. Google ignorerer Crawl-delay.

Eksempel:

User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml

Tekniske oplysninger:

  • >RFC 9309

Anvendelse:

  • >Opret crawlerregler, og download robots.txt.
  • >Inputtet behandles i browseren.

Ofte stillede spørgsmål

Hvad skal jeg være opmærksom på?

robots.txt giver crawl-instruktioner og styrer ikke adgang. Google ignorerer Crawl-delay.

Bliver mine data uploadet?

Nej. Behandlingen foregår i browseren.

Andre sprog

Robots.txt Generator — Base64.sh

robots.txt-generator

Opret crawlerregler, og download robots.txt. Inputtet behandles i browseren.

Del:

X Facebook LinkedIn Reddit

Referencer

Sådan kontrollerer vi resultaterne

Vi kontrollerer værktøjet med de automatiske tests nedenfor. Eksempler vises på originalsproget.

Verification method
Check User-agent, Allow/Disallow ordering and Sitemap lines from fixed rule blocks.
Comparison reference
Explicit expected robots.txt text.
Verification scope
These samples and boundaries do not prove correctness for every input.
Test source and cases (select a file to read it)

Testene dækker de angivne eksempler og grænser, ikke alle mulige input. Tilbagekonvertering og samme bibliotek er ikke uafhængig verifikation.