10 June 2013

Tempat untuk Mengecek dan Menganalisa “Robots.txt"

 

Robot.txt merupakan aplikasi yang sangat penting untuk sebuah website atau blog.
Manfaatnya berguna untuk membuat url suatu artikel untuk dapat bertengger di barisan search engine.

Namun fungsi dari Robots.txt sendiri seringkali digunakan untuk membatasi atau mencegah spider atau bot search engine untuk dapat mengakses file-file pada suatu blog/website.
Atau kata-kata sederhananya, aplikasi ini memberitahu spiders atau bot mana yang boleh diakses dan mana yang tidak boleh.


Repot juga sih, kalau-kalau ada ratusan bahkan ribuan artikel yang telah dibuat dibatasi dan membiarkan bots meng-crawl (merayapi) artikel-artikel tersebut satu per satu.
Dan bila anda ingin mengetahui berapa jumlah artikel pada Blogspot anda yang telah di Blocked URLs oleh Google. Silahkan anda masuk pada Google Webmasters - tentukan  blog yang ingin anda gunakan - Health - Blocked URLs - hasilnya dapat anda temukan di bawah kolom Blocked URLs. 


Tempat dan Cara mengecek Robots.txt yang dimiliki oleh website/blog anda 

Untuk mengetahui, menganalisa dan mengecek apa yang telah Robot.txt lakukan pada blog/website anda, silahkan anda masuk pada motoricerca.info
Setelah memasukkan alamat blog atau website pada kolom yang tersedia. Maka mereka akan memberikan hasil analisa berupa warning kata pada kolom yang berwarna pink.
Kemudian, anda diberikan solusi untuk mengenal Robot.txt lebih dekat pada alamat Robottxt.org.

Nah, sampai disini saja keterangan dan informasi yang bisa saya berikan. Namun bagaimana mengatasi, merubah dan mengganti Robots.txt yang kita miliki, saya pun belum tahu. Dan ada diantara pembaca pernah mengetahui secara jelas. Silahkan kirim ke email atau memberikan informasi pada ruang komentar di bawah ini. Terima kasih dan selamat membaca.
Oh ya, bila ada diantara pembaca yang ingin memasang Kode Robot.txt yang baik. Silahkan anda lihat pada link sumber di bawah ini. Namun hati-hati kalau salah, saya tidak bisa menjamin, lho!
 



Sumber:

 

Bagi Sahabat
Bagi SAHABAT Updated at: June 10, 2013

No comments:

Post a Comment

Related Posts Plugin for WordPress, Blogger...

Labels

A (1) AlertPay (2) Analisa (1) Anti virus (4) B (1) Bahasa Komputer (23) Belajar dan Bahasa (47) Bengkel dan Kendaraan (1) Berita dan Informasi (266) Biologi (6) Bioskop dan Video (63) Blog (151) Browser (3) Budaya dan Bahasa (15) Buku Majalah dan tulisan (40) C (2) Catur (1) D (2) Desain dan Furniture (95) DNS (2) Dongeng dan Cerita (1) Dunia Busana dan Mode (4) E (2) E-commerce (4) E-mail (10) Ekonomi dan perdagangan (58) Eksakta (7) F (1) Facebook (10) Flora dan Fauna (6) Foto dan Design (99) G (1) gad (1) Gadget (258) Game (73) Generator (23) H (1) Hand Phone (14) Hardware (6) Hobi dan koleksi (8) Hosting dan Domain (7) Hubungan dan komunikasi (129) Hukum dan Perundang-undangan (12) Humor (4) Huruf dan Template (4) i (1) Indonesia - Pengetahuan Alam - Geografi (35) Industri (1) Interior Desain Komputer (27) Internasional (1) J (1) Jaringan (7) Jejaring Sosial (9) K (1) Kamera (35) Keamanan (7) Kedokteran (25) Keyboard (1) Kimia (7) Kisah (10) Komik dan Animasi (12) Komputer dan Perangkatnya (109) Koneksi (7) Konfrensi (1) Konversi (1) Koran (1) Kreatifitas (3) Kumpulan (19) L (1) Lembar (234) Libery Reserve (1) Liburan dan Pariwisata (7) Lingkungan hidup (2) Linux (2) Logo (7) Lowongan Kerja (8) M (1) Matematika (17) Media Penyimpanan (14) Meja (4) Membaca dan Menulis (40) Mencari uang di Internet (25) Microsoft-Google-Yahoo (57) Militer (1) Miniatur (2) Monitoring (9) Motherboard (1) Mozilla Firefox (1) Multimedia (33) Musik dan Lagu (57) N (1) Note Book (48) O (1) Olahraga dan Kesehatan (53) P (1) Page Rank (1) PDF (3) Pemimpin (1) Pendidikan dan Pengetahuan (105) Perangkat Lunak (442) Perbaikan komputer (48) Pertanian dan Perkebunan (2) Peternakan dan Perikanan (6) Ping (1) Playstore (1) Politik dan Pemerintahan (10) Print (2) Produk (62) Produk Internet dan Tekhnologi (40) Prosesor (3) Psikologi (6) Q (1) R (1) Rak Buku (51) Religi (7) Remaja dan Pergaulan (11) Resep dan Masakan (1) Rumah dan Keluarga (64) S (1) Scanner (1) Search Engine (19) Sejarah (40) Seni dan Kerajinan (18) Seni Melipat Kertas (4) Sepeda (8) Service (1) Sharing (3) Situs Komputer dan Tekhnologi (27) Situs Menarik (66) Situs Populer dan Aplikasinya (26) SMS (5) Sofa (19) Sony (2) T (1) Telepon Genggam (18) Tempat duduk (14) Tips dan Tricks (138) Trans 7 (1) Tutorial (66) U (1) Ucapan Selamat (1) Unik (19) USB Drive (8) V (1) W (2) Wanita dan Peranannya (8) Website (1) Windows (27) X (1) Z (1)