Cek Crawler AI di robots.txt: GPTBot, ClaudeBot, dan Lainnya
Lihat sekilas crawler AI mana yang boleh membaca situs Anda menurut robots.txt, pisahkan crawler pelatihan model dari crawler pencarian, dan buat aturan untuk memblokir yang tidak Anda inginkan.
Gratis · tanpa akun · diproses di browser Anda · diperbarui
Gunakan Cek Crawler AI (robots.txt)
Buka domainanda.com/robots.txt di browser, salin seluruh isinya, lalu tempel di sini. Dibaca di browser ini dan tidak dikirim ke mana pun.
Mis. / atau /blog/artikel
Tempel robots.txt di atas untuk melihat crawler AI mana yang diizinkan atau diblokir. Tanpa robots.txt, semua crawler dianggap boleh.
Hasil per crawler
Status tiap crawler AI menurut robots.txt untuk path /
Atas permintaan penggunaMembuka halaman saat pengguna ChatGPT atau GPT Actions memintanya. OpenAI menyatakan aturan robots.txt mungkin tidak berlaku karena aksinya dimulai pengguna.
Atas permintaan penggunaMembuka halaman saat pengguna Perplexity meminta jawaban dengan sumber. Perplexity menyatakan crawler ini umumnya mengabaikan robots.txt karena permintaannya berasal dari pengguna.
Pelatihan modelMengatur apakah konten yang sudah dijelajah boleh dipakai melatih Gemini dan untuk grounding. Hanya token robots.txt tanpa user agent sendiri. Tidak memengaruhi kemunculan atau peringkat di Google Search.
PencarianMenjelajah untuk Spotlight, Siri, dan Safari; datanya juga dapat membantu melatih model Apple. Bila tidak ada aturan Applebot tetapi ada aturan Googlebot, Applebot mengikuti aturan Googlebot.
Pelatihan modelMengatur apakah data yang dijelajah Applebot boleh dipakai melatih model dasar Apple. Tidak menjelajah sendiri; hanya token kontrol. Tidak menghapus situs dari hasil pencarian Apple.
Atas permintaan penggunaMengambil tautan tertentu saat pengguna meminta fitur AI Meta. Meta menyatakan crawler ini dapat melewati aturan robots.txt karena mengambil atas permintaan pengguna.
Atas permintaan penggunaMengambil informasi langsung untuk menjawab permintaan pengguna, mis. di Alexa. Amazon menyatakan crawler ini mungkin tidak mengikuti semua arahan robots.txt.
Pelatihan modelMengumpulkan arsip web terbuka (Common Crawl) yang banyak dipakai untuk melatih model.
Diizinkan
Tidak ada aturan, jadi boleh
Ya
Nama crawler menautkan ke dokumentasi resmi operatornya. Crawler yang bekerja atas permintaan pengguna sering tidak mengikuti robots.txt.
Buat aturan pemblokiran
Centang crawler di kolom “Blokir”, atau pakai pilihan cepat, lalu tambahkan hasilnya ke robots.txt Anda.
Belum ada crawler yang dipilih.
Cara menggunakan Cek Crawler AI (robots.txt)
1
Buka domainanda.com/robots.txt di browser, salin seluruh isinya, lalu tempel di kolom robots.txt. Tanpa robots.txt, klik “Pakai contoh” untuk mencoba.
2
Baca ringkasan dan tabel: tiap crawler diberi status Diizinkan, Diizinkan kecuali sebagian jalur, atau Diblokir beserta aturan yang menentukannya. Ubah “Path yang diuji” untuk memeriksa halaman tertentu.
3
Centang crawler yang ingin diblokir (atau pakai “Hanya pelatihan model”), salin aturannya, lalu tambahkan ke robots.txt di situs Anda.
Pelatihan, pencarian, dan permintaan pengguna
Operator AI umumnya memakai crawler berbeda untuk tujuan berbeda. GPTBot, ClaudeBot, dan CCBot mengumpulkan konten yang dapat dipakai melatih model. OAI-SearchBot, Claude-SearchBot, dan PerplexityBot membangun hasil pencarian AI yang menautkan ke situs Anda. ChatGPT-User, Claude-User, dan Perplexity-User membuka halaman saat seorang pengguna memintanya. Memblokir crawler pelatihan tidak sama dengan memblokir crawler pencarian, sehingga situs bisa tetap menjadi sumber di jawaban AI.
Google-Extended dan Applebot-Extended berbeda lagi: keduanya hanya token di robots.txt yang mengatur pemakaian data untuk pelatihan, tanpa crawler sendiri. Memblokirnya tidak mengubah kemunculan di Google Search atau pencarian Apple.
Cara alat ini membaca robots.txt
Pembacaan mengikuti RFC 9309: grup dipilih menurut nama crawler tanpa membedakan huruf besar atau kecil, grup dengan nama sama digabung, dan bila tidak ada grup khusus dipakai grup User-agent: *. Aturan terpanjang yang cocok menang, dan Allow menang bila panjangnya sama. Tanda * dan $ didukung. Applebot mengikuti aturan Googlebot bila tidak punya aturan sendiri, sesuai dokumentasi Apple.
robots.txt adalah permintaan, bukan pengaman. Crawler yang patuh akan mengikutinya, tetapi crawler nakal bisa mengabaikannya, dan beberapa crawler atas permintaan pengguna sengaja tidak mengikutinya, seperti dinyatakan operatornya. Untuk melindungi konten sungguhan, gunakan autentikasi atau pembatasan di server.
Daftar yang terus berubah
Daftar dan fungsi crawler ini diambil dari dokumentasi resmi tiap operator pada 1 November 2026. Operator bisa menambah crawler baru atau mengubah fungsinya kapan saja, dan perubahan di robots.txt dapat memerlukan sekitar 24 jam untuk berlaku. Periksa dokumentasi operator (ditautkan di tabel) sebelum mengandalkan hasilnya.
Sumber dan tanggal pemeriksaan
Aturan dan data pada alat ini terakhir diperiksa pada . Rujukan yang kami pakai:
Tambahkan grup User-agent: GPTBot lalu Disallow: /, dan hal yang sama untuk ClaudeBot, di robots.txt pada akar domain. Alat ini membuat aturannya setelah Anda mencentang crawler yang dimaksud.
Apakah memblokir crawler AI membuat situs hilang dari Google?
Tidak, kecuali Googlebot ikut diblokir. Google-Extended hanya mengatur pemakaian untuk Gemini dan tidak memengaruhi Google Search. Alat ini memperingatkan bila Googlebot atau semua crawler terblokir.
Apa beda crawler pelatihan dan crawler pencarian AI?
Crawler pelatihan mengumpulkan konten untuk melatih model; crawler pencarian membangun indeks agar situs bisa ditampilkan dan ditautkan di jawaban AI. Keduanya diatur terpisah di robots.txt.
Mengapa Perplexity-User tetap membaca halaman yang saya blokir?
Perplexity menyatakan Perplexity-User umumnya mengabaikan robots.txt karena permintaannya berasal dari pengguna. Hal serupa berlaku untuk ChatGPT-User, meta-externalfetcher, dan Amzn-User menurut operatornya.
Apakah robots.txt saya dikirim ke server?
Tidak. Isinya dibaca di browser Anda; tidak ada yang diunggah. Alat ini juga tidak bisa mengambil robots.txt dari URL, jadi Anda perlu menyalinnya sendiri.