Генератор robots.txt
Создавайте правила для роботов и скачивайте robots.txt.
Правила для роботов
Отметка добавляет Disallow: / для этого робота.
Как это работает
Создавайте правила для роботов и скачивайте robots.txt.
Технические сведения
robots.txt задаёт инструкции для обхода, а не права доступа. Google игнорирует Crawl-delay.
Технические сведения
Как это работает:
Создавайте правила для роботов и скачивайте robots.txt. robots.txt задаёт инструкции для обхода, а не права доступа. Google игнорирует Crawl-delay.
Пример:
User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Технические сведения:
- >RFC 9309
Где пригодится:
- >Создавайте правила для роботов и скачивайте robots.txt.
- >Данные обрабатываются в браузере.
Частые вопросы
На что обратить внимание?
robots.txt задаёт инструкции для обхода, а не права доступа. Google игнорирует Crawl-delay.
Данные отправляются на сервер?
Нет. Обработка выполняется в вашем браузере.
Другие языки
Источники
Как мы проверяем результаты
Мы проверяем этот инструмент автоматическими тестами по ссылкам ниже. Названия примеров сохранены на исходном языке.
- Verification method
- Check User-agent, Allow/Disallow ordering and Sitemap lines from fixed rule blocks.
- Comparison reference
- Explicit expected robots.txt text.
- Verification scope
- These samples and boundaries do not prove correctness for every input.
Test source and cases (select a file to read it)
-
generator-reliability.test.js
- Robots generator: rule blocks preserve allow/disallow order, user agents and sitemap lines
Тесты охватывают указанные примеры и границы, а не все возможные входные данные. Обратное преобразование и проверка той же библиотекой не являются независимой проверкой.