robots.txt 생성기
크롤러 규칙을 만들고 robots.txt를 다운로드하세요.
크롤러별 설정
선택하면 해당 크롤러에 Disallow: / 규칙이 추가됩니다.
01
작동 방식
크롤러 규칙을 만들고 robots.txt를 다운로드하세요.
02
기술 정보
robots.txt는 크롤링 지침이며 접근 제어가 아닙니다. Google은 Crawl-delay를 무시합니다.
기술 정보
작동 방식:
크롤러 규칙을 만들고 robots.txt를 다운로드하세요. robots.txt는 크롤링 지침이며 접근 제어가 아닙니다. Google은 Crawl-delay를 무시합니다.
예제:
User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
기술 정보:
- >RFC 9309
활용 예:
- >크롤러 규칙을 만들고 robots.txt를 다운로드하세요.
- >데이터는 브라우저에서 처리됩니다.
자주 묻는 질문
사용 시 주의할 점은 무엇인가요?
robots.txt는 크롤링 지침이며 접근 제어가 아닙니다. Google은 Crawl-delay를 무시합니다.
데이터가 서버로 전송되나요?
아니요. 브라우저에서 처리합니다.
다른 언어
참고 자료
결과의 정확성을 확인하는 방법
아래 자동화 테스트로 이 도구를 검증합니다. 테스트 예시의 이름은 원문으로 표시합니다.
- Verification method
- Check User-agent, Allow/Disallow ordering and Sitemap lines from fixed rule blocks.
- Comparison reference
- Explicit expected robots.txt text.
- Verification scope
- These samples and boundaries do not prove correctness for every input.
Test source and cases (select a file to read it)
-
generator-reliability.test.js
- Robots generator: rule blocks preserve allow/disallow order, user agents and sitemap lines
테스트는 표시된 예시와 경계 조건을 다루며 모든 입력을 증명하지는 않습니다. 왕복 변환이나 같은 라이브러리를 사용하는 검사는 독립적인 검증이 아닙니다.