Apakah Robots.txt?
Robots.txt adalah file teks yang berisi beberapa baris kode sederhana. Hal ini disimpan di website atau server blog yang menginstruksikan web crawler bagaimana untuk indeks dan merangkak blog Anda dalam hasil pencarian. Itu berarti Anda dapat membatasi setiap halaman web di blog Anda dari web crawler sehingga tidak bisa mendapatkan diindeks di mesin pencari seperti halaman label blog Anda, halaman demo Anda atau halaman lain yang tidak begitu penting untuk mendapatkan diindeks. Selalu ingat bahwa crawler pencarian memindai file robots.txt sebelum merangkak setiap halaman web.Setiap blog host di blogger memiliki file robots.txt default yang merupakan sesuatu yang terlihat seperti ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Penjelasan
Kode ini dibagi menjadi tiga bagian . Mari pertama pelajari masing-masing setelah itu kita akan belajar bagaimana menambahkan file kustom robots.txt di blog blogspot .User-agent: Mediapartners-Google
Kode ini adalah untuk robot Google Adsense yang membantu mereka untuk melayani iklan yang lebih baik di blog Anda, entah Anda menggunakan Google Adsense di blog Anda atau tidak.
User-agent : *
Ini adalah untuk semua robot yang ditandai dengan tanda bintang ( * ) . Dalam pengaturan default blog kita label link dibatasi untuk diindeks oleh crawler pencarian itu, berarti web crawler tidak akan mengindeks link halaman label kami karena di bawah kode .
Disallow: / search
Itu berarti link yang memiliki kata kunci pencarian setelah nama domain akan diabaikan. Lihat di bawah contoh yang merupakan link halaman label bernama SEO .
http://www.jumidixtier.blogspot.com/search/label/SEO
Dan jika kita menghapus Disallow : / search dari kode di atas maka robot crawler akan mengakses seluruh blog untuk mengindeks dan merangkak semua konten dan halaman web .
Allow : / mengacu pada Homepage yang berarti web crawler bisa merangkak dan indeks homepage blog kita .
Disallow Particular Post / Larang khusus
Sekarang jika kita ingin mengecualikan posting tertentu dari pengindeksan maka kita dapat menambahkan di bawah garis dalam kode .
Disallow: /yyyy/mm/post-url.html
Berikut yyyy mm dan mengacu pada tahun penerbitan dan bulan posting masing-masing. Sebagai contoh jika kita telah menerbitkan posting di tahun 2013 di bulan Maret maka kita harus menggunakan format yang di bawah .
Disallow: /2013/03/post-url.html
Untuk membuat tugas ini mudah , Anda hanya dapat menyalin URL pos dan menghapus nama blog dari awal.
Disallow Particular Page / Larangan Khusus Halaman
Jika kita perlu untuk melarang halaman tertentu maka kita dapat menggunakan metode yang sama seperti di atas . Cukup salin URL halaman dan menghapus alamat blog dari itu yang akan sesuatu yang terlihat seperti ini :
Disallow: /p/page-url.html
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Kode ini mengacu pada sitemap blog kita . Dengan menambahkan link sitemap di sini kita hanya mengoptimalkan tingkat merangkak blog kita . Berarti setiap kali web crawler memindai file robots.txt mereka akan menemukan jalan untuk sitemap di mana semua link dari postingan kita dipublikasikan hadir.
Web crawler akan merasa mudah untuk menjelajah semua postingan kita. Oleh karena itu, ada kemungkinan lebih baik bahwa web crawler merangkak semua posting blog kita tanpa mengabaikan satu pun .
Catatan : sitemap ini hanya akan memberitahu crawler web tentang baru 25 posting . Jika Anda ingin meningkatkan jumlah link dalam sitemap Anda kemudian mengganti sitemap standar, lihat sitemap dibawah ini. Ini akan bekerja untuk 500 posting terbaru pertama
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Jika Anda memiliki lebih dari 500 tulisan yang diterbitkan di blog Anda, maka Anda dapat menggunakan dua Sitemaps seperti di bawah ini :
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000
Menambahkan Kustom robots.txt di Blogger
Sekarang bagian utama dari tutorial ini adalah bagaimana menambahkan robots.txt kustom di blogger. berikut ini langkah-langkah untuk menambahkannya:1. Masuk ke Dashboard blogger .
2. Settings >> Search Preferences ›› Crawlers and indexing ›› Custom robots.txt ›› Edit ›› Yes
3. Sekarang paste file code robots.txt di kotak berikut.
4. Save.
5. Selesai
Bagaimana memeriksa file Robots.txt?
Anda dapat memeriksa file ini di blog Anda dengan menambahkan / robots.txt akhirnya ke URL blog Anda di browser. Lihatlah contoh di bawah ini untuk demo.http://www.jumidixtier.blogspot.com/robots.txt
Setelah Anda mengunjungi URL file robots.txt Anda akan melihat seluruh kode yang Anda gunakan dalam file robots.txt kustom Anda. Lihat di bawah gambar.
