生成并测试 robots.txt

一键屏蔽 AI 爬虫(GPTBot、ClaudeBot、Google-Extended、CCBot 等等)。它们和搜索爬虫是分开处理的,因为一旦屏蔽错了对象,你的网站就会从 Google 里消失。

正在加载工具……

工作原理

  1. 列出要屏蔽的网站部分(路径),以及要放行的例外。
  2. 需要的话,勾选屏蔽 AI 爬虫。
  3. 用一个网址测试结果。测试逻辑和搜索引擎一样,遵循"最长规则优先"。

为什么什么都不用上传

这个页面上的每一步操作,都由运行在你浏览器标签页里的代码完成,用的就是渲染网页的那套引擎。文件从磁盘读进标签页的内存,在那里被处理,再作为下载写回去。它不会被送到任何地方 —— 不会送给我们,也不会送给第三方。

自己动手验证

  1. 打开浏览器的开发者工具(F12),选择“网络”(Network)面板。
  2. 载入你的文件,运行这个工具。
  3. 你能看到的请求只有这些:工具自己的代码 —— 少数几个重型工具还会从公共 CDN 取它们的开源引擎 —— 外加一条发往 loreatec.jp 的小小访问记录(页面地址和标题,仅此而已)。没有一条带着你的文件。

文件不外传的证明 →

常见问题

屏蔽 Google-Extended 会影响我的搜索排名吗?

不会。Google-Extended 只控制你的页面会不会被用来训练 Google 的 AI 模型(Gemini),对 Google 搜索本身没有影响。真正影响搜索的是 Googlebot,屏蔽它会让你的网站彻底从搜索结果里消失。

robots.txt 能让一个页面不出现在 Google 里吗?

不能 —— 这是一个常见却代价不小的误解。Disallow 这一行只是阻止 Google 读取页面内容,并不会阻止页面被收录:只要有其他网站链接过来,一个被屏蔽的页面依然可能出现在搜索结果里,只是没有描述文字。要让页面真正不出现在 Google 里,应该让它可以被抓取,然后加一个 noindex meta tag。

有什么会离开我的浏览器吗?

不会。没有任何东西会发送到服务器。整个工具就是一段跑在你浏览器标签页里的小程序。页面加载完之后,就算断网也照样能用。