robots.txt-Generator

robots.txt-Generator

Crawler-Regeln erstellen und robots.txt herunterladen.

Crawler-Regeln

Aktivieren fügt für diesen Crawler Disallow: / hinzu.

01

So funktioniert es

Crawler-Regeln erstellen und robots.txt herunterladen.

02

Technische Hinweise

robots.txt gibt Crawl-Hinweise und schützt keine Inhalte. Google ignoriert Crawl-delay.

Technische Hinweise

So funktioniert es:

Crawler-Regeln erstellen und robots.txt herunterladen. robots.txt gibt Crawl-Hinweise und schützt keine Inhalte. Google ignoriert Crawl-delay.

Beispiel:

User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml

Technische Hinweise:

  • >RFC 9309

Anwendungsfälle:

  • >Crawler-Regeln erstellen und robots.txt herunterladen.
  • >Die Eingaben werden im Browser verarbeitet.

Häufige Fragen

Was sollte ich beachten?

robots.txt gibt Crawl-Hinweise und schützt keine Inhalte. Google ignoriert Crawl-delay.

Werden meine Eingaben hochgeladen?

Nein. Die Verarbeitung findet im Browser statt.

Weitere Sprachen

Robots.txt Generator — Base64.sh

robots.txt-Generator

Crawler-Regeln erstellen und robots.txt herunterladen. Die Eingaben werden im Browser verarbeitet.

Teilen:

X Facebook LinkedIn Reddit

Referenzen

So prüfen wir die Ergebnisse

Wir prüfen dieses Werkzeug mit den unten verlinkten automatisierten Tests. Beispiele stehen in ihrer Originalsprache.

Verification method
Check User-agent, Allow/Disallow ordering and Sitemap lines from fixed rule blocks.
Comparison reference
Explicit expected robots.txt text.
Verification scope
These samples and boundaries do not prove correctness for every input.
Test source and cases (select a file to read it)

Die Tests decken die genannten Beispiele und Grenzen ab, nicht alle möglichen Eingaben. Rückkonvertierung und Prüfungen mit derselben Bibliothek sind keine unabhängige Verifikation.