Собрать и протестировать robots.txt
Один клик блокирует ИИ-краулеров (GPTBot, ClaudeBot, Google-Extended, CCBot и остальных). Они отделены от поисковых краулеров, потому что блокировка не того бота уберёт вас из Google.
- Работает целиком в вашем браузере
- Работает без интернета
- Без отправки файлов
- Без регистрации
- Без водяных знаков
Загружаем инструмент…
Как это работает
- Перечислите части сайта, которые нужно закрыть (пути), и исключения, которые нужно разрешить.
- При желании заблокируйте ИИ-краулеров.
- Проверьте любой URL по получившимся правилам. Тестер использует ту же логику «побеждает самое длинное правило», что и поисковые системы.
Почему ничего не отправляется на сервер
Всё, что делает эта страница, выполняет код внутри вкладки вашего браузера — тем же движком, который рисует веб-страницы. Файл читается с диска в память вкладки, преобразуется там и записывается обратно как загружаемый файл. Он никуда не отправляется — ни нам, ни третьей стороне.
Проверьте сами
- Откройте инструменты разработчика в браузере (F12) и перейдите на вкладку «Сеть» (Network).
- Загрузите свой файл и запустите инструмент.
- Единственные запросы, которые вы увидите, — это код самого инструмента, а у нескольких тяжёлых инструментов ещё и их открытый движок из публичного CDN, плюс один небольшой сигнал о просмотре страницы на loreatec.jp (адрес и заголовок страницы, больше ничего). Ни один из них не несёт ваш файл.
Частые вопросы
Блокировка Google-Extended вредит позициям в поиске?
Нет. Google-Extended отвечает только за то, используются ли ваши страницы для обучения ИИ-моделей Google (Gemini); на Google Search это никак не влияет. За поиск отвечает Googlebot, и вот его блокировка уберёт вас из результатов полностью.
robots.txt не пускает страницу в Google?
Нет — это распространённое и дорогостоящее заблуждение. Строка Disallow мешает Google прочитать страницу, а не внести её в список: заблокированная страница всё равно может появиться в результатах, без описания, если на неё ссылаются другие сайты. Чтобы страница не попала в Google, наоборот, разрешите её сканировать и добавьте тег noindex.
Что-нибудь уходит из моего браузера?
Нет. На сервер ничего не отправляется. Весь инструмент — это небольшая программа, которая работает внутри вкладки браузера. После загрузки страницы она продолжает работать, даже если отключить интернет.