Cara Mengaktifkan Settingan Robots txt Khusus Di Blog

Robots txt adalah sebuah ketentuan untuk mencegah web crawler dan robot web lain,dari pengaksesan sekuruh atau sebagian situs web. Robots txt berfungsi untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari,atau situs jejaring sosial seperti facebook,twitter dan lain-lain.

Tetapi kita tidak akan membahas tentang itu,tetapi kita akan membahas tentang cara mengaktifkan Robots txt di blog. Untuk itu ikuti langkah-langkahnya sebagai berikut:

• Login Ke Blogger
• Klik Setelan
• Klik Preferensi Penelusuran
• Klik Robots txt Khusus
• Klik Aktifkan.
• Setelah Itu Masukkan Kode Ini Di Dalam Robots txt Khusus

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: http://melsadinata.blogspot.com/feeds/posts/default?orderby=UPDATED

• Ganti: melsadinata Dengan URL Anda
• Setelah Itu Simpan Perubahan

• SELANJUTNYA MENGAKTIFKAN TAG TAJUK ROBOTS TXT KHUSUS
• Klik/Edit Tag Tajuk Robots txt Khusus
• Isikan Seperti Ini

• Simpan Perubahan