robots.txtジェネレーター
クローラーのルールを作成し、robots.txtをダウンロードできます。
クローラー別の設定
チェックすると、そのクローラーにDisallow: /を追加します。
01
仕組み
クローラーのルールを作成し、robots.txtをダウンロードできます。
02
技術情報
robots.txtはクロールの指示であり、アクセス制限ではありません。GoogleはCrawl-delayを無視します。
技術情報
仕組み:
クローラーのルールを作成し、robots.txtをダウンロードできます。 robots.txtはクロールの指示であり、アクセス制限ではありません。GoogleはCrawl-delayを無視します。
例:
User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
技術情報:
- >RFC 9309
活用例:
- >クローラーのルールを作成し、robots.txtをダウンロードできます。
- >データはブラウザ内で処理します。
よくある質問
利用時の注意点は?
robots.txtはクロールの指示であり、アクセス制限ではありません。GoogleはCrawl-delayを無視します。
データはサーバーに送信されますか?
いいえ。処理はブラウザ内で行われます。
他の言語
参考資料
結果の正しさをどう確認するか
以下の自動テストでこのツールを検証します。テスト例の名称は原文のまま掲載しています。
- Verification method
- Check User-agent, Allow/Disallow ordering and Sitemap lines from fixed rule blocks.
- Comparison reference
- Explicit expected robots.txt text.
- Verification scope
- These samples and boundaries do not prove correctness for every input.
Test source and cases (select a file to read it)
-
generator-reliability.test.js
- Robots generator: rule blocks preserve allow/disallow order, user agents and sitemap lines
テスト対象は記載した例と境界条件です。すべての入力に対する証明ではありません。往復変換や同じライブラリによる確認は独立した検証ではありません。