Buat dan uji sebuah robots.txt

Satu klik memblokir crawler AI (GPTBot, ClaudeBot, Google-Extended, CCBot, dan lainnya). Crawler ini dipisahkan dari crawler pencarian, karena memblokir yang salah bisa membuat Anda hilang dari Google.

Memuat alat…

Cara kerjanya

  1. Daftarkan bagian situs yang ingin diblokir (path), dan pengecualian yang ingin diizinkan.
  2. Blokir crawler AI-nya kalau Anda mau.
  3. Uji sebuah URL terhadap hasilnya. Penguji ini memakai logika yang sama seperti mesin pencari: “aturan terpanjang yang menang”.

Kenapa tidak ada yang diunggah

Semua yang dikerjakan halaman ini dijalankan oleh kode di dalam tab peramban Anda, memakai mesin yang sama dengan yang menampilkan halaman web. File dibaca dari disk ke memori tab Anda, diolah di sana, lalu ditulis kembali sebagai unduhan. File itu tidak pernah dikirim ke mana pun — tidak ke kami, tidak ke pihak ketiga.

Buktikan sendiri

  1. Buka alat pengembang peramban Anda (F12) lalu pilih tab “Network” (Jaringan).
  2. Muat file Anda dan jalankan alatnya.
  3. Permintaan yang akan Anda lihat hanya mengambil kode alat itu sendiri — dan, pada beberapa alat berat, mesin sumber terbukanya dari CDN publik — ditambah satu ping kunjungan halaman yang kecil ke loreatec.jp (alamat dan judul halaman, tidak lebih). Tidak satu pun membawa file Anda.

Bukti semuanya tetap lokal →

Pertanyaan yang sering diajukan

Apakah memblokir Google-Extended merugikan peringkat pencarian saya?

Tidak. Google-Extended hanya mengatur apakah halaman Anda dipakai untuk melatih model AI Google (Gemini); itu tidak berpengaruh pada Google Search. Googlebot-lah yang berperan untuk pencarian, dan memblokirnya akan menghilangkan Anda sepenuhnya dari hasil pencarian.

Apakah robots.txt membuat sebuah halaman tidak muncul di Google?

Tidak — ini kesalahpahaman yang umum dan mahal akibatnya. Baris Disallow menghentikan Google membaca halamannya, bukan mencantumkannya: halaman yang diblokir tetap bisa muncul di hasil pencarian, tanpa deskripsi, kalau situs lain menautkannya. Untuk membuat sebuah halaman benar-benar tidak muncul di Google, biarkan halaman itu di-crawl dan tambahkan meta tag noindex sebagai gantinya.

Apakah ada yang keluar dari peramban saya?

Tidak. Tidak ada yang dikirim ke server. Seluruh alat ini adalah program kecil yang berjalan di dalam tab peramban Anda. Begitu halamannya selesai dimuat, alat ini tetap berjalan meskipun koneksi internetnya dimatikan.