Генератор robots.txt

Генератор robots.txt

Создавайте правила для роботов и скачивайте robots.txt.

Правила для роботов

Отметка добавляет Disallow: / для этого робота.

01

Как это работает

Создавайте правила для роботов и скачивайте robots.txt.

02

Технические сведения

robots.txt задаёт инструкции для обхода, а не права доступа. Google игнорирует Crawl-delay.

Технические сведения

Как это работает:

Создавайте правила для роботов и скачивайте robots.txt. robots.txt задаёт инструкции для обхода, а не права доступа. Google игнорирует Crawl-delay.

Пример:

User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml

Технические сведения:

  • >RFC 9309

Где пригодится:

  • >Создавайте правила для роботов и скачивайте robots.txt.
  • >Данные обрабатываются в браузере.

Частые вопросы

На что обратить внимание?

robots.txt задаёт инструкции для обхода, а не права доступа. Google игнорирует Crawl-delay.

Данные отправляются на сервер?

Нет. Обработка выполняется в вашем браузере.

Другие языки

Robots.txt Generator — Base64.sh

Генератор robots.txt

Создавайте правила для роботов и скачивайте robots.txt. Данные обрабатываются в браузере.

Поделиться:

X Facebook LinkedIn Reddit

Источники

Как мы проверяем результаты

Мы проверяем этот инструмент автоматическими тестами по ссылкам ниже. Названия примеров сохранены на исходном языке.

Verification method
Check User-agent, Allow/Disallow ordering and Sitemap lines from fixed rule blocks.
Comparison reference
Explicit expected robots.txt text.
Verification scope
These samples and boundaries do not prove correctness for every input.
Test source and cases (select a file to read it)

Тесты охватывают указанные примеры и границы, а не все возможные входные данные. Обратное преобразование и проверка той же библиотекой не являются независимой проверкой.