Lewati ke konten

Web, SEO & Bisnis

Robots.txt Generator

Atur halaman mana yang boleh dijelajahi crawler, daftarkan sitemap, dan putuskan apakah crawler AI pelatihan model boleh membaca situs Anda. Unduh hasilnya sebagai robots.txt.

Gratis · tanpa akun · diproses di browser Anda · diperbarui

Gunakan Robots.txt Generator

Titik awal

Contoh: /admin/ atau /private/

Contoh: /admin/public/

Diabaikan Google.

Blokir crawler pelatihan AI

Hanya crawler pelatihan model. Crawler pencarian/kutipan AI tidak ikut diblokir.

Cara menggunakan Robots.txt Generator

  1. Pilih titik awal: izinkan semua, blokir semua, atau WordPress. Tambahkan jalur Allow dan Disallow sendiri bila perlu.

  2. Isi alamat sitemap, dan centang crawler AI yang ingin diblokir.

  3. Salin atau unduh robots.txt, lalu unggah ke folder utama situs sehingga bisa dibuka di domainanda.com/robots.txt.

Fungsi dan batas robots.txt

robots.txt meminta crawler yang patuh untuk tidak menjelajahi jalur tertentu. Ia bukan pengaman: crawler nakal dapat mengabaikannya, dan halaman yang diblokir masih bisa muncul di hasil pencarian bila ada situs lain yang menautkannya. Untuk menjaga halaman keluar dari indeks gunakan noindex, dan untuk data sensitif gunakan autentikasi.

Satu berkas berlaku per host (termasuk subdomain dan protokol). Letaknya harus di akar domain, dan nama berkasnya huruf kecil: robots.txt.

Crawler AI: pelatihan versus pencarian

Sebagian operator AI memakai crawler berbeda untuk melatih model (misalnya GPTBot, ClaudeBot, CCBot, dan Google-Extended) dan untuk mencari atau mengutip konten saat pengguna bertanya. Memblokir crawler pelatihan tidak sama dengan memblokir crawler pencarian, jadi situs masih dapat muncul sebagai sumber di jawaban AI. Putuskan sesuai kebijakan konten Anda.

Pertanyaan tentang Robots.txt Generator

Apakah robots.txt bisa menyembunyikan halaman dari Google?

Tidak sepenuhnya. Halaman yang diblokir masih dapat diindeks tanpa isinya bila ada tautan ke sana. Untuk mengeluarkan halaman dari hasil pencarian, gunakan meta noindex dan pastikan halaman itu tidak diblokir agar crawler bisa membacanya.

Apa fungsi Crawl-delay?

Mengatur jeda antar permintaan crawler. Google mengabaikan Crawl-delay, tetapi beberapa mesin pencari lain seperti Bing mendukungnya.

Mengapa sitemap perlu ditulis di robots.txt?

Baris Sitemap membantu crawler menemukan daftar halaman Anda tanpa harus mendaftarkannya manual. Gunakan URL lengkap, termasuk https://.

Apakah memblokir GPTBot atau ClaudeBot menghapus saya dari jawaban AI?

Tidak otomatis. Itu crawler pelatihan model. Crawler yang mengambil halaman untuk menjawab pertanyaan pengguna memakai nama berbeda dan diatur terpisah.

Di mana robots.txt harus diletakkan?

Di akar domain, sehingga dapat dibuka di https://domainanda.com/robots.txt. Berkas di subfolder tidak dibaca crawler.

Butuh lebih dari sekadar tools?

Kami membangun website, aplikasi, dan sistem kustom untuk bisnis Anda.

Tools ini hanya sebagian kecil dari yang bisa dikerjakan Tipamedia. Ceritakan kebutuhan Anda, kami bantu merumuskan langkah berikutnya.