robots.txt-Generator
Crawler-Regeln erstellen und robots.txt herunterladen.
Crawler-Regeln
Aktivieren fügt für diesen Crawler Disallow: / hinzu.
So funktioniert es
Crawler-Regeln erstellen und robots.txt herunterladen.
Technische Hinweise
robots.txt gibt Crawl-Hinweise und schützt keine Inhalte. Google ignoriert Crawl-delay.
Technische Hinweise
So funktioniert es:
Crawler-Regeln erstellen und robots.txt herunterladen. robots.txt gibt Crawl-Hinweise und schützt keine Inhalte. Google ignoriert Crawl-delay.
Beispiel:
User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Technische Hinweise:
- >RFC 9309
Anwendungsfälle:
- >Crawler-Regeln erstellen und robots.txt herunterladen.
- >Die Eingaben werden im Browser verarbeitet.
Häufige Fragen
Was sollte ich beachten?
robots.txt gibt Crawl-Hinweise und schützt keine Inhalte. Google ignoriert Crawl-delay.
Werden meine Eingaben hochgeladen?
Nein. Die Verarbeitung findet im Browser statt.
Weitere Sprachen
Referenzen
So prüfen wir die Ergebnisse
Wir prüfen dieses Werkzeug mit den unten verlinkten automatisierten Tests. Beispiele stehen in ihrer Originalsprache.
- Verification method
- Check User-agent, Allow/Disallow ordering and Sitemap lines from fixed rule blocks.
- Comparison reference
- Explicit expected robots.txt text.
- Verification scope
- These samples and boundaries do not prove correctness for every input.
Test source and cases (select a file to read it)
-
generator-reliability.test.js
- Robots generator: rule blocks preserve allow/disallow order, user agents and sitemap lines
Die Tests decken die genannten Beispiele und Grenzen ab, nicht alle möglichen Eingaben. Rückkonvertierung und Prüfungen mit derselben Bibliothek sind keine unabhängige Verifikation.