Cara Setting Robots.txt di Blogger: Panduan 2020

Apa itu Robots.txt?

Robot.txt merupakan protokol untuk membantu anda membatasi akses crawling google pada halaman anda. Dikenal juga dengan sebutan robot protokol pengecualian, web spiders, robot crawlers, atau web wanderers. Robots ini dipasang pada header untuk mengizinkan maupun membatasi akses crawling dalam cara kerja mesin pencari. Tujuannya adalah keterlihatan halaman pada mesin pencari seperti google, bing, msn atau search engine lainnya.

ini merupakan robot.txt default pada blogger

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.kepoinaja.com/sitemap.xml

Penjelasan dari beberapa kode Robot.txt

Robot.txt memiliki beberapa kode, kode tersebut memiliki kegunaan yang berbeda juga. maka dari itu saya akan menjelaskan beberapa kode tersebut.

User-agent: Mediapartners-Google
Kode ini untuk robot Google Adsense yang membantu mereka menampilkan iklan
yang lebih baik di blog . Entah kamu menggunakan Google Adsense di blog atau
tidak. biarkan begitu saja.

Disallow:
Yang tidak di bolehkan tidak ada.

Disallow: /search
Ini berarti tautan yang memiliki pencarian kata kunci tepat setelah nama domain akan
diabaikan. Lihat contoh di bawah ini yang merupakan tautan halaman label bernama
SEO.

https:/www.kepoinaja.com/ search / label / SEO

Dan jika kita menghapus Disallow: / search dari kode di atas maka crawler akan
mengakses seluruh blog kita untuk mengindeks dan merangkak semua konten dan
halaman webnya.

User-agent: “
Ini untuk semua robots yang ditandai dengan tanda bintang (“). Dalam pengaturan
standar, tautan label blog kami dibatasi untuk diindeks oleh crawler pencarian yang
berarti crawler web tidak akan mengindeks tautan halaman label.

Allow: /
Yang di ijinkan unutk di rayapi oleh robots.txt tanda / adalah blog kamu.

Sitemap:
Kode ini mengacu pada peta situs blog kita. Dengan menambahkan tautan sitemap di
sini kami hanya mengoptimalkan tingkat perayapan blog kami.

Berarti kapan pun perayap web memindai file robots.txt kami, mereka akan
menemukan jalur ke sitemap kami tempat semua tautan pos yang kami terbitkan
hadir.

Perayap web akan mudah merayapi semua postingan
Karenanya, ada peluang yang lebih baik bahwa perayap web merayapi semua posting

blog kami tanpa mengabaikan satu pun..

Cara Setting Robots.Txt Default di Blogger

Sekarang bagian utama dari tutorial ini adalah bagaimana cara menambahkan
custom robots.txt di blogger. Jadi di bawah ini adalah langkah untuk
menambahkannya.

1. Login ke blogger kamu.
2. Pilih ke Pengaturan »» Preferensi Penelusuran » Perayap dan pengindeksan »
Robots.txt khusus » Edit » Ya
4. Sekarang tempel kode file robots.txt di dalam kotak.
5. Klik tombol Simpan Perubahan.
6. Kamu selesai!

Custom Robot.txt yang populer

Kode Robot.txt yang satu ini sangat populer bagi para blogger, Kode ini merupakan kode yang aman dan juga SEO Friendly. 

untuk cara pemasanganya sama seperti cara yang saya sampaikan diatas.

User-agent: Mediapartners-GoogleDisallow:User-agent: *Disallow: /p/about.htmlDisallow: /p/contact.htmlAllow: /Sitemap: https://blog-anda.com/sitemap.xml

Jangan lupa untuk mengganti url sitemap kamu dengan blog anda.

Cara memeriksa Kode Robot.txt yang sudah aktif

kamu dapat memeriksa kode robot.txt yang kamu buat tadi dengan mengunjungi

https://www.blog-anda.com/ robots.txt

setelah kamu mengunjungi url diatas maka akan muncul gambar seperti dibawah ini.

Share this post