Apa itu robots.txt?

Robots.txt adalah sebuah file yang diletakkan di root directory. File ini merupakan file yang mempunyai tugas tersendiri pada saat - saat tertentu. File ini sangat berguna saat suatu situs mesin pencari seperti google akan mengindex situs Anda. File robots.txt merupakan file utama yang akan di cari oleh mesin pencari dalam hal untuk meminta permisi seputar direktori atau file mana saja yang boleh di index oleh mereka (sreach enggine). File ini juga berguna sebagai langkah proteksi awal untuk halaman - halaman atau direktori - direktori tertentu yang mengandung privasi atau kerahasiaan dalam situs Anda.
Penggunaan file robots.txt tentunya harus sesuai dengan namanya agar bisa berjalan di website Anda. Untuk penulisan sintak - sintak tertentu dalam file robots.txt harus menggunakan huruf kecil semua. Itu merupakan beberapa syarat dalam pembuatan file robots.txt. Pada beberapa CMS file robots.txt ini memang sudah disediakan sekaligus dalam kumpulan file - file cms tersebut. File ini dapat kita kostumisasi sesuai keinginan kita hanya dengan sedikit pengetahuan tentang file robots.txt tapi ingat juga kesalahan terkadang bisa berakibat fatal!. Sekian dan terimakasih.