Cara Custom Robots.TXT khusus untuk Blogger [Blogspot] adalah tutorial blogging terbaru yang akan kita bahas kali ini. Untuk blogger versi bahasa Indonesia, settingan robots.txt ini ditulis robots.txt khsusus. Jika pada postingan sebelumnya, kita telah membahas tentang Setting Custom Robots Header Tags untuk blogger yang sudah saya ulas secara lengkap. Dan pada tutorial kali ini akan dibahas tentang setting robot.tx.

Jika Anda telah membaca posting tersebut maka saya harap Anda pasti sudah sadar akan pentingnya melakukan penyetelan robots tersebut untuk mendapatkan peringkat / rangking pada halaman pencarian (google, yahoo, bing, yandex, dll). Dan selanjutnya kita akan melakukan pembahasan lengkap tentang cara setting robots.txt khusus blogger / blogspot ini.

Cara Custom Robots.TXT Blogger [Robots.TXT Khusus]


Apa itu Robots.txt?

Robots.txt adalah file teks yang berisi beberapa baris kode sederhana. File tersebut disimpan dalam situs web atau server blog yang menginstruksikan kepada perayap web tentang cara mengindeks dan merayapi blog pada hasil pencarian.

Hal ini berarti bahwa kita bisa membatasi halaman web di blog Anda dari crawler web sehingga beberapa halaman atau postingan khusus pada blog bisa diperintah melalui robot.txt khusus tersebut agar tidak mengindeks halaman yang tidak perlu di mesin pencari seperti halaman label blog Anda, halaman archive atau halaman lain yang tidak penting untuk diindeks.

Selalu ingat bahwa bot / perayap pencarian memindai file robots.txt terlebih dahulu sebelum merayapi laman web mana pun. Nah, makanya kita perlu melakukan beberapa setting robot txt khusus blogger agar robots txt ini bisa maksimal.

Setiap blog yang dihosting di blogger memiliki file robots.txt default yang terlihat seperti ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Penjelasan Isi File Robots.txt

Sekarang kita lihat penjelasan dari setiap text yang terdapat pada file diatas dan kita uraikan agar bisa lebih dipahami fungsi dari setting robot.txt supaya lebih SEO.

User-agent: Mediapartners-Google
Kode ini untuk robot Google Adsense yang membantu mereka menayangkan iklan yang lebih baik di blog Anda. Entah Anda menggunakan Google Adsense di blog, Anda boleh membiarakn saja menggunakan kode tersebut dan ini tidak akan berpengaruh terhadap pengindeksan post dan halaman pada blog Anda

User-agent: *
Ini untuk semua robot yang ditandai dengan tanda bintang (*). Dalam pengaturan default, Semua jenis robot crawler dibolehkan untuk melakukan pengindeksan terhadap website kita. Untuk hal yang boleh dan tidak boleh dirayapi, kodenya ada dibawah.

Disallow: /search
Maksudnya adalah tautan yang memiliki pencarian kata kunci tepat setelah nama domain akan diabaikan. Lihat contoh di bawah ini yang merupakan tautan halaman label bernama SEO.
http://www.dewaplokis.com/search/label/SEO

Dan jika kita menghapus Disallow: /search dari kode di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merangkak semua konten dan halaman webnya. Hati -hati dalam melakukan setting robot.txt khusus blogger ini. Karena akan bisa mengakibatkan kasus diindex meski diblokir oleh robots txt.

Allow: /
Merujuk ke Beranda yang berarti perayap web dapat merayapi dan mengindeks beranda blog kita.
Maka setiap hal yang berhubungan dengan halaman utama Anda semuanya akan bisa diakses.

Disallow Post Tertentu
Sekarang anggaplah jika kita ingin mengecualikan posting tertentu dari pengindeksan maka kita dapat menambahkan baris di bawah ini dalam kode.
Disallow: /yyyy/mm/post-url.html

Di sini yyyy dan mm mengacu pada tahun penerbitan dan bulan posting masing-masing. Sebagai contoh jika kita telah menerbitkan sebuah postingan di tahun 2016 di bulan Maret maka kita harus menggunakan format di bawah ini.
Disallow: /2016/03/post-url.html

Untuk mempermudah tugas ini, Anda cukup menyalin URL posting dan menghapus nama blog dari awal. Misalnya saya ingin disallow salah satu postingan pada artikel saya yaitu https://www.dewaplokis.com/2019/10/optimasi-seo-postingan-blog.html. Maka saya tinggal menghapus bagian depan pada link tersebut, maka hasilnya setelah dipasangkan pada file txt robot adalah sebagai berikut
Disallow: /2019/10/optimasi-seo-postingan-blog.html

Disallow Halaman Khusus
Jika kita perlu melarang halaman tertentu maka kita dapat menggunakan metode yang sama seperti di atas. Cukup salin URL halaman dan hapus alamat blog darinya yang akan terlihat seperti ini:
Disallow: /p/page-url.html
Atau jika terdapat lebih dari 1 (satu) page yang tidak ingin dirayapi, bisa seperti ini:
Disallow: /p/ekstensi.html
Disallow: /p/egegffegd.html

Disallow halaman khusus biasa dilakukan ketika ada halaman / page yang sudah kita hapus sebelumnya namun masih terindex. Maka untuk menghindari error 404 dan peringatan lainnya dari search console, penambahan ini adalah jalan yang sangat tepat.

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Kode ini merujuk pada peta situs blog kita. Dengan menambahkan tautan peta situs di sini kita hanya mengoptimalkan tingkat perayapan blog kita.

Berarti kapan pun perayap web memindai file robots.txt kita, mereka akan menemukan jalur ke sitemap kita tempat semua tautan pos yang kita terbitkan hadir. Karenanya, ada peluang yang lebih baik bahwa perayap web merayapi semua posting blog kita tanpa mengabaikan satu pun.
Catatan: Peta situs http://example.blogspot.com/feeds/posts/default?orderby=UPDATED hanya akan memberi tahu perayap web tentang 25 pos terakhir.
Jika Anda ingin menambah jumlah tautan di sitemap Anda, maka ganti sitemap default dengan yang di bawah ini. Ini akan berfungsi untuk 500 posting terakhir pertama.
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Jika Anda memiliki lebih dari 500 posting yang diterbitkan di blog Anda, maka Anda dapat menggunakan dua peta situs seperti di bawah ini:
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results= 1000

Selain kode sitemap diatas, beberapa blog juga menggunakan sitemap.xml. Untuk contoh penerapannya bisa seperti ini :
Sitemap: https://example.blogspot.com/sitemap.xml

Sebagai referensi lengkap tentang sitemap, pengindeksan dan perayapan pada robot.txt, saya sangat menyarankan Anda untuk membaca 2 (dua) postingan sebelumnya, yaitu :


Menambahkan Robots.txt Khusus ke Blogger

Sekarang bagian utama dari tutorial ini adalah bagaimana menambahkan robots.txt khusus di blogger. Jadi di bawah ini adalah langkah untuk menambahkannya.

Silakan masuk ke Akun Blogger Anda. Buka Pengaturan ➤ Cari Preferensi ➤ Perayap dan pengindeksan ➤ robots.txt khusus ➤ Edit
cara kustom robot khusus


Selanjutnya pada kolom Edit Pilih Ya
cara custom robots txt


Sekarang tempel kode file robots.txt Anda lalu klik simpan perubahan di dalam kotak. Contohnya seperti ini.
pengaturan robots.txt khusus

Selesai. Sekarang Anda sudah berhasil melakukan setting robot.txt khusus blogger pada blog Anda.

Bagaimana cara Memeriksa File Robots.txt?

Anda dapat memeriksa file ini di blog Anda dengan menambahkan /robots.txt di akhir URL blog Anda di browser web. Sebagai contoh:
https://yourblogurl.blogspot.com/robots.txt

Setelah Anda mengunjungi URL file robots.txt yang tadi sudah dibuat maka Anda akan melihat seluruh kode yang Anda gunakan dalam file robots.txt khusus blogger tersebut. Misalnya kita ambil contoh pada blog saya yang sedang Anda baca saat ini.
Lihat gambar di bawah ini.

robots txt khusus



Kesimpulan

Ini adalah tutorial lengkap hari ini tentang cara menambahkan file robots.txt khusus di blogger. Disini saya mencoba yang terbaik untuk membuat tutorial ini sesederhana dan seinformatif mungkin. Tetapi tetap jika Anda memiliki keraguan atau pertanyaan maka jangan ragu untuk bertanya kepada saya di bagian komentar di bawah ini.

Demikian tutorial ini tentang Cara Custom / setting Robots.TXT khusus Blogger [Blogspot]. Jika menurut Anda postingan ini bermanfaat, silakan dishare agar semakin bermanfaat. Terima kasih. Happy Blogging!.

Cara Custom Robots.TXT Blogger [Robots.TXT Khusus]

Cara Custom Robots.TXT khusus untuk Blogger [Blogspot] adalah tutorial blogging terbaru yang akan kita bahas kali ini. Untuk blogger versi bahasa Indonesia, settingan robots.txt ini ditulis robots.txt khsusus. Jika pada postingan sebelumnya, kita telah membahas tentang Setting Custom Robots Header Tags untuk blogger yang sudah saya ulas secara lengkap. Dan pada tutorial kali ini akan dibahas tentang setting robot.tx.

Jika Anda telah membaca posting tersebut maka saya harap Anda pasti sudah sadar akan pentingnya melakukan penyetelan robots tersebut untuk mendapatkan peringkat / rangking pada halaman pencarian (google, yahoo, bing, yandex, dll). Dan selanjutnya kita akan melakukan pembahasan lengkap tentang cara setting robots.txt khusus blogger / blogspot ini.

Cara Custom Robots.TXT Blogger [Robots.TXT Khusus]


Apa itu Robots.txt?

Robots.txt adalah file teks yang berisi beberapa baris kode sederhana. File tersebut disimpan dalam situs web atau server blog yang menginstruksikan kepada perayap web tentang cara mengindeks dan merayapi blog pada hasil pencarian.

Hal ini berarti bahwa kita bisa membatasi halaman web di blog Anda dari crawler web sehingga beberapa halaman atau postingan khusus pada blog bisa diperintah melalui robot.txt khusus tersebut agar tidak mengindeks halaman yang tidak perlu di mesin pencari seperti halaman label blog Anda, halaman archive atau halaman lain yang tidak penting untuk diindeks.

Selalu ingat bahwa bot / perayap pencarian memindai file robots.txt terlebih dahulu sebelum merayapi laman web mana pun. Nah, makanya kita perlu melakukan beberapa setting robot txt khusus blogger agar robots txt ini bisa maksimal.

Setiap blog yang dihosting di blogger memiliki file robots.txt default yang terlihat seperti ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Penjelasan Isi File Robots.txt

Sekarang kita lihat penjelasan dari setiap text yang terdapat pada file diatas dan kita uraikan agar bisa lebih dipahami fungsi dari setting robot.txt supaya lebih SEO.

User-agent: Mediapartners-Google
Kode ini untuk robot Google Adsense yang membantu mereka menayangkan iklan yang lebih baik di blog Anda. Entah Anda menggunakan Google Adsense di blog, Anda boleh membiarakn saja menggunakan kode tersebut dan ini tidak akan berpengaruh terhadap pengindeksan post dan halaman pada blog Anda

User-agent: *
Ini untuk semua robot yang ditandai dengan tanda bintang (*). Dalam pengaturan default, Semua jenis robot crawler dibolehkan untuk melakukan pengindeksan terhadap website kita. Untuk hal yang boleh dan tidak boleh dirayapi, kodenya ada dibawah.

Disallow: /search
Maksudnya adalah tautan yang memiliki pencarian kata kunci tepat setelah nama domain akan diabaikan. Lihat contoh di bawah ini yang merupakan tautan halaman label bernama SEO.
http://www.dewaplokis.com/search/label/SEO

Dan jika kita menghapus Disallow: /search dari kode di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merangkak semua konten dan halaman webnya. Hati -hati dalam melakukan setting robot.txt khusus blogger ini. Karena akan bisa mengakibatkan kasus diindex meski diblokir oleh robots txt.

Allow: /
Merujuk ke Beranda yang berarti perayap web dapat merayapi dan mengindeks beranda blog kita.
Maka setiap hal yang berhubungan dengan halaman utama Anda semuanya akan bisa diakses.

Disallow Post Tertentu
Sekarang anggaplah jika kita ingin mengecualikan posting tertentu dari pengindeksan maka kita dapat menambahkan baris di bawah ini dalam kode.
Disallow: /yyyy/mm/post-url.html

Di sini yyyy dan mm mengacu pada tahun penerbitan dan bulan posting masing-masing. Sebagai contoh jika kita telah menerbitkan sebuah postingan di tahun 2016 di bulan Maret maka kita harus menggunakan format di bawah ini.
Disallow: /2016/03/post-url.html

Untuk mempermudah tugas ini, Anda cukup menyalin URL posting dan menghapus nama blog dari awal. Misalnya saya ingin disallow salah satu postingan pada artikel saya yaitu https://www.dewaplokis.com/2019/10/optimasi-seo-postingan-blog.html. Maka saya tinggal menghapus bagian depan pada link tersebut, maka hasilnya setelah dipasangkan pada file txt robot adalah sebagai berikut
Disallow: /2019/10/optimasi-seo-postingan-blog.html

Disallow Halaman Khusus
Jika kita perlu melarang halaman tertentu maka kita dapat menggunakan metode yang sama seperti di atas. Cukup salin URL halaman dan hapus alamat blog darinya yang akan terlihat seperti ini:
Disallow: /p/page-url.html
Atau jika terdapat lebih dari 1 (satu) page yang tidak ingin dirayapi, bisa seperti ini:
Disallow: /p/ekstensi.html
Disallow: /p/egegffegd.html

Disallow halaman khusus biasa dilakukan ketika ada halaman / page yang sudah kita hapus sebelumnya namun masih terindex. Maka untuk menghindari error 404 dan peringatan lainnya dari search console, penambahan ini adalah jalan yang sangat tepat.

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Kode ini merujuk pada peta situs blog kita. Dengan menambahkan tautan peta situs di sini kita hanya mengoptimalkan tingkat perayapan blog kita.

Berarti kapan pun perayap web memindai file robots.txt kita, mereka akan menemukan jalur ke sitemap kita tempat semua tautan pos yang kita terbitkan hadir. Karenanya, ada peluang yang lebih baik bahwa perayap web merayapi semua posting blog kita tanpa mengabaikan satu pun.
Catatan: Peta situs http://example.blogspot.com/feeds/posts/default?orderby=UPDATED hanya akan memberi tahu perayap web tentang 25 pos terakhir.
Jika Anda ingin menambah jumlah tautan di sitemap Anda, maka ganti sitemap default dengan yang di bawah ini. Ini akan berfungsi untuk 500 posting terakhir pertama.
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Jika Anda memiliki lebih dari 500 posting yang diterbitkan di blog Anda, maka Anda dapat menggunakan dua peta situs seperti di bawah ini:
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results= 1000

Selain kode sitemap diatas, beberapa blog juga menggunakan sitemap.xml. Untuk contoh penerapannya bisa seperti ini :
Sitemap: https://example.blogspot.com/sitemap.xml

Sebagai referensi lengkap tentang sitemap, pengindeksan dan perayapan pada robot.txt, saya sangat menyarankan Anda untuk membaca 2 (dua) postingan sebelumnya, yaitu :


Menambahkan Robots.txt Khusus ke Blogger

Sekarang bagian utama dari tutorial ini adalah bagaimana menambahkan robots.txt khusus di blogger. Jadi di bawah ini adalah langkah untuk menambahkannya.

Silakan masuk ke Akun Blogger Anda. Buka Pengaturan ➤ Cari Preferensi ➤ Perayap dan pengindeksan ➤ robots.txt khusus ➤ Edit
cara kustom robot khusus


Selanjutnya pada kolom Edit Pilih Ya
cara custom robots txt


Sekarang tempel kode file robots.txt Anda lalu klik simpan perubahan di dalam kotak. Contohnya seperti ini.
pengaturan robots.txt khusus

Selesai. Sekarang Anda sudah berhasil melakukan setting robot.txt khusus blogger pada blog Anda.

Bagaimana cara Memeriksa File Robots.txt?

Anda dapat memeriksa file ini di blog Anda dengan menambahkan /robots.txt di akhir URL blog Anda di browser web. Sebagai contoh:
https://yourblogurl.blogspot.com/robots.txt

Setelah Anda mengunjungi URL file robots.txt yang tadi sudah dibuat maka Anda akan melihat seluruh kode yang Anda gunakan dalam file robots.txt khusus blogger tersebut. Misalnya kita ambil contoh pada blog saya yang sedang Anda baca saat ini.
Lihat gambar di bawah ini.

robots txt khusus



Kesimpulan

Ini adalah tutorial lengkap hari ini tentang cara menambahkan file robots.txt khusus di blogger. Disini saya mencoba yang terbaik untuk membuat tutorial ini sesederhana dan seinformatif mungkin. Tetapi tetap jika Anda memiliki keraguan atau pertanyaan maka jangan ragu untuk bertanya kepada saya di bagian komentar di bawah ini.

Demikian tutorial ini tentang Cara Custom / setting Robots.TXT khusus Blogger [Blogspot]. Jika menurut Anda postingan ini bermanfaat, silakan dishare agar semakin bermanfaat. Terima kasih. Happy Blogging!.
Load Comments
Disqus Codes
  • To write a bold letter please use <strong></strong> or <b></b>.
  • To write a italic letter please use <em></em> or <i></i>.
  • To write a underline letter please use <u></u>.
  • To write a strikethrought letter please use <strike></strike>.
  • To write HTML code, please use <code></code> or <pre></pre> or <pre><code></code></pre>.
    And use parse tool below to easy get the style.
Show Parse Box

strong em u strike
pre code pre code spoiler
embed

Subscribe Our Newsletter