Fungsi dan batas robots.txt
robots.txt meminta crawler yang patuh untuk tidak menjelajahi jalur tertentu. Ia bukan pengaman: crawler nakal dapat mengabaikannya, dan halaman yang diblokir masih bisa muncul di hasil pencarian bila ada situs lain yang menautkannya. Untuk menjaga halaman keluar dari indeks gunakan noindex, dan untuk data sensitif gunakan autentikasi.
Satu berkas berlaku per host (termasuk subdomain dan protokol). Letaknya harus di akar domain, dan nama berkasnya huruf kecil: robots.txt.