Apa Fungsi Robot.txt Pada Blogger

Robot.txt pada blogger memang sangat penting yang berguna untuk membantu perayapan dan pengindeks'an blog di SE (Search Engine).

Secara sederhana Robot.txt ini adalah sebuah konvensi untuk memerintah robot mesin pencari atau web crawler atau juga mencegah semua halaman untuk di indeks.

Misalnya anda tidak ingin halaman tertentu ditampilkan kepada mesin pencari! dan dengan Robot.txt inilah kita bisa memanfaatkan fungsi dari robot.txt agar dapat memblokir halaman tersebut.

Semua blogspot sudah ada fitur robot txt yang telah diberikan oleh blogger, secara defaultnya robot.txt seperti dibawah ini :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.komberblog.tk/sitemap.xml

Pastinya anda akan bingung, apa sebenarnya arti-arti dari kode diatas, baiklah saya akan menjelaskannya satu-persatu.

Keterangan :
User-agent: Mediapartners-Google	User agent milik Google menandakan bahwa blog ini adalah milik Google
Disallow	Tidak diperbolehkan tidak ada
User-agent: *	Semua Robot Search Engine
Disallow: /search	Tidak diperbolehkan merayapi folder search dan seterusnya
Allow: /	Mengizinkan semua halaman untuk dirayapi, kecuali yang sudah Disallow.
Sitemap: http://www.komberblog.tk/sitemap.xml	Alamat feed blog/sitemap blog anda

Mungkin itu saja sedikit penjelasan tentang Apa fungsi dari Robot.txt semoga artikel ini bisa bermanfaat ya sobh...