Robot.txt merupakan aplikasi yang sangat penting untuk sebuah website atau blog.
Manfaatnya berguna untuk membuat url suatu artikel untuk dapat bertengger di barisan search engine.
Namun fungsi dari Robots.txt sendiri seringkali digunakan untuk membatasi atau mencegah spider atau bot search engine untuk dapat mengakses file-file pada suatu blog/website.
Atau kata-kata sederhananya, aplikasi ini memberitahu spiders atau bot mana yang boleh diakses dan mana yang tidak boleh.
Repot juga sih, kalau-kalau ada ratusan bahkan ribuan artikel yang telah dibuat dibatasi dan membiarkan bots meng-crawl (merayapi) artikel-artikel tersebut satu per satu.
Dan bila anda ingin mengetahui berapa jumlah artikel pada Blogspot anda yang telah di Blocked URLs oleh Google. Silahkan anda masuk pada Google Webmasters - tentukan blog yang ingin anda gunakan - Health - Blocked URLs - hasilnya dapat anda temukan di bawah kolom Blocked URLs.
Tempat dan Cara mengecek Robots.txt yang dimiliki oleh website/blog anda
Untuk mengetahui, menganalisa dan mengecek apa yang telah Robot.txt lakukan pada blog/website anda, silahkan anda masuk pada motoricerca.info.
Setelah memasukkan alamat blog atau website pada kolom yang tersedia. Maka mereka akan memberikan hasil analisa berupa warning kata pada kolom yang berwarna pink.
Kemudian, anda diberikan solusi untuk mengenal Robot.txt lebih dekat pada alamat Robottxt.org.
Nah, sampai disini saja keterangan dan informasi yang bisa saya berikan. Namun bagaimana mengatasi, merubah dan mengganti Robots.txt yang kita miliki, saya pun belum tahu. Dan ada diantara pembaca pernah mengetahui secara jelas. Silahkan kirim ke email atau memberikan informasi pada ruang komentar di bawah ini. Terima kasih dan selamat membaca.
Oh ya, bila ada diantara pembaca yang ingin memasang Kode Robot.txt yang baik. Silahkan anda lihat pada link sumber di bawah ini. Namun hati-hati kalau salah, saya tidak bisa menjamin, lho!
Sumber:
No comments:
Post a Comment