Cara Kustom robots.txt SEO Untuk Blogger

Hallo semua nya pada artikel kali ini saya akan share mengenai cara setting robots.txt SEO dan aman untuk para blogger agar blog anda lebih optimal di mesin pencari.

Apa Itu robots.txt

robots.txt atau yang biasa dikenal sebagai protokol pengecualian robot atau protokol robots.txt adalah sebuah ketentuan para pengguna blog untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web yang tidak di izinkan untuk di index.

Fungsi robots.txt

robots.txt berfungsi untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter

Cara ubah robots.txt di blogger

Berikut cara mengganti kode robots.txt bawaan blogger.

1. Login ke akun blogger kalian
2. Klik Setelan
3. Scroll kebawah, cari Crawler dan pengindeksan
4. Klik Aktifkan robots.txt kustom
5. Dan klik bagian robots.txt kustom

Setting Robots.txt

Setelah memahami dan mengetahui cara ubah robots.txt pada blogger, saat nya untuk kustom kode robots.txt, berikut ini!

1. robots.txt Default Blogger

Sebenarnya settingan default robots.txt blogger sudah lumayan aman untuk penggunaan blog sesuai dengan yang sering digunakan banyak orang. Berikut kode nya:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.fahri-xd.xyz/sitemap.xml

Ganti https://www.fahri-xd.xyz/ Dengan Domain Blog Kalian

2. Kustom robots.txt paling aman

Jika anda ingin agar halaman seperti disclaimer, privacy, about, atau halaman lainnya yang tidak ingin diindeks mesin pencari, silakan gunakan kode robots.txt kustom paling aman dibawah ini:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /p/about.html

Disallow: /p/contact.html

Disallow: /search?updated-min=

Disallow: /search?updated-max=

Disallow: /search/label/*?updated-min=

Disallow: /search/label/*?updated-max=

Allow: /

Sitemap: https://www.fahri-xd.xyz/atom.xml?redirect=false&start-index=1&max-results=500

Ganti https://www.fahri-xd.xyz/ Dengan Domain Blog Kalian

Okeh mungkin sekian pada artikel kali ini,sampai jumpa di artikel selanjutnya^^