robots.txtジェネレーター

robots.txtジェネレーター

クローラーのルールを作成し、robots.txtをダウンロードできます。

クローラー別の設定

チェックすると、そのクローラーにDisallow: /を追加します。

01

仕組み

クローラーのルールを作成し、robots.txtをダウンロードできます。

02

技術情報

robots.txtはクロールの指示であり、アクセス制限ではありません。GoogleはCrawl-delayを無視します。

技術情報

仕組み:

クローラーのルールを作成し、robots.txtをダウンロードできます。 robots.txtはクロールの指示であり、アクセス制限ではありません。GoogleはCrawl-delayを無視します。

例:

User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml

技術情報:

  • >RFC 9309

活用例:

  • >クローラーのルールを作成し、robots.txtをダウンロードできます。
  • >データはブラウザ内で処理します。

よくある質問

利用時の注意点は?

robots.txtはクロールの指示であり、アクセス制限ではありません。GoogleはCrawl-delayを無視します。

データはサーバーに送信されますか?

いいえ。処理はブラウザ内で行われます。

他の言語

Robots.txt Generator — Base64.sh

robots.txtジェネレーター

クローラーのルールを作成し、robots.txtをダウンロードできます。 データはブラウザ内で処理します。

共有:

X Facebook LinkedIn Reddit

参考資料

結果の正しさをどう確認するか

以下の自動テストでこのツールを検証します。テスト例の名称は原文のまま掲載しています。

Verification method
Check User-agent, Allow/Disallow ordering and Sitemap lines from fixed rule blocks.
Comparison reference
Explicit expected robots.txt text.
Verification scope
These samples and boundaries do not prove correctness for every input.
Test source and cases (select a file to read it)

テスト対象は記載した例と境界条件です。すべての入力に対する証明ではありません。往復変換や同じライブラリによる確認は独立した検証ではありません。