robots.txt 만들고 테스트하기
클릭 한 번으로 AI 크롤러(GPTBot, ClaudeBot, Google-Extended, CCBot 등)를 차단합니다. 검색 크롤러와는 따로 분리해 두었습니다. 잘못된 것을 차단하면 Google에서 사라지기 때문입니다.
- 브라우저 안에서 전부 처리됩니다
- 오프라인에서도 작동합니다
- 업로드 없음
- 가입 없음
- 워터마크 없음
도구를 불러오는 중…
작동 방식
- 차단할 사이트 영역(경로)과 허용할 예외를 나열하세요.
- 원한다면 AI 크롤러도 차단하세요.
- 결과에 맞춰 URL을 테스트하세요. 테스터는 검색엔진이 쓰는 것과 같은 “longest rule wins”(가장 긴 규칙이 이긴다) 로직을 씁니다.
왜 아무것도 업로드되지 않는가
이 페이지가 하는 모든 작업은 브라우저 탭 안에서 도는 코드가 처리합니다. 웹 페이지를 그리는 그 엔진을 그대로 씁니다. 파일은 디스크에서 탭의 메모리로 읽어 들여 거기서 변환한 뒤 다시 다운로드 파일로 내보냅니다. 어디로도 전송되지 않습니다. 우리에게도, 제3자에게도.
직접 확인해 보세요
- 브라우저 개발자 도구(F12)를 열고 네트워크(Network) 탭을 선택합니다.
- 파일을 올리고 도구를 실행합니다.
- 보이는 요청은 도구 자체의 코드를 받아 오는 것뿐입니다. 무거운 몇몇 도구는 공개 CDN에서 오픈소스 엔진을 함께 받아 옵니다. 여기에 loreatec.jp로 가는 작은 방문 집계 신호 하나(페이지 주소와 제목, 그 이상은 없습니다)가 더해집니다. 어느 것도 당신의 파일을 실어 나르지 않습니다.
자주 묻는 질문
Google-Extended를 차단하면 검색 순위에 나쁜 영향이 있나요?
없습니다. Google-Extended는 당신의 페이지가 Google의 AI 모델(Gemini) 학습에 쓰이는지만 관리할 뿐, Google 검색에는 영향을 주지 않습니다. 검색에 중요한 것은 Googlebot이고, 이것을 차단하면 검색 결과에서 완전히 사라집니다.
robots.txt로 페이지를 Google에서 뺄 수 있나요?
아닙니다 — 흔하지만 대가가 큰 오해입니다. Disallow 줄은 Google이 페이지를 읽지 못하게 할 뿐, 목록에서 빼지는 못합니다. 다른 사이트가 링크를 걸어 두면 차단된 페이지도 설명 없이 검색 결과에 나올 수 있습니다. 페이지를 Google에서 빼려면 오히려 크롤링은 허용하고 대신 noindex meta tag를 넣으세요.
브라우저 밖으로 나가는 것이 있나요?
없습니다. 서버로는 아무것도 전송되지 않습니다. 이 도구 전체가 브라우저 탭 안에서 도는 작은 프로그램입니다. 페이지가 한 번 열린 뒤에는 인터넷 연결을 꺼도 계속 작동합니다.