robots.txt 생성기

robots.txt 생성기

크롤러 규칙을 만들고 robots.txt를 다운로드하세요.

크롤러별 설정

선택하면 해당 크롤러에 Disallow: / 규칙이 추가됩니다.

01

작동 방식

크롤러 규칙을 만들고 robots.txt를 다운로드하세요.

02

기술 정보

robots.txt는 크롤링 지침이며 접근 제어가 아닙니다. Google은 Crawl-delay를 무시합니다.

기술 정보

작동 방식:

크롤러 규칙을 만들고 robots.txt를 다운로드하세요. robots.txt는 크롤링 지침이며 접근 제어가 아닙니다. Google은 Crawl-delay를 무시합니다.

예제:

User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml

기술 정보:

  • >RFC 9309

활용 예:

  • >크롤러 규칙을 만들고 robots.txt를 다운로드하세요.
  • >데이터는 브라우저에서 처리됩니다.

자주 묻는 질문

사용 시 주의할 점은 무엇인가요?

robots.txt는 크롤링 지침이며 접근 제어가 아닙니다. Google은 Crawl-delay를 무시합니다.

데이터가 서버로 전송되나요?

아니요. 브라우저에서 처리합니다.

다른 언어

Robots.txt Generator — Base64.sh

robots.txt 생성기

크롤러 규칙을 만들고 robots.txt를 다운로드하세요. 데이터는 브라우저에서 처리됩니다.

공유:

X Facebook LinkedIn Reddit

참고 자료

결과의 정확성을 확인하는 방법

아래 자동화 테스트로 이 도구를 검증합니다. 테스트 예시의 이름은 원문으로 표시합니다.

Verification method
Check User-agent, Allow/Disallow ordering and Sitemap lines from fixed rule blocks.
Comparison reference
Explicit expected robots.txt text.
Verification scope
These samples and boundaries do not prove correctness for every input.
Test source and cases (select a file to read it)

테스트는 표시된 예시와 경계 조건을 다루며 모든 입력을 증명하지는 않습니다. 왕복 변환이나 같은 라이브러리를 사용하는 검사는 독립적인 검증이 아닙니다.