Cara Pengaturan Robots.Txt Yang Baik Dan Benar
Cara Pengaturan Robots.Txt Yang Baik Dan Benar - Selamat Datang Di Informasi Bisnis dan Budidaya Dalam web KICKBISNIS.COM, anda akan menemukan berbagai macam peluang bisnis dan usaha yang menjanjikan peningkatan perekonomian keluarga anda. Info yang anda temukan pada kami kai ini adalah Cara Pengaturan Robots.Txt Yang Baik Dan Benar, Siahkan anda simak baik baik ulasan peluang usaha yang akan kami sampaikan di bawah ini , Semoga saja tulisan ini cocok dengan apa yang anda cari selama ini. Selamat Mencoba dan Semoga Sukses.
Cara Pengaturan Robots.Txt Yang Baik Dan Benar
Cara setting robots.txt yang baik dan benar serta lebih SEO friendly terhadap mesin pencari untuk blogger panduan / tutorial lengkap. - Sebenarnya pengaturan untuk robots txt ini sudah banyak kita temui di artikel - artikel lainnya. Namun, bagaimana untuk pengaturan / setting yang lebih amannya yaitu, sobat dapat membandingkan satu artikel dengan artikel yang lain.
Dikarenakan untuk pengaturan robots txt ini sangat sensitif, dan jika sobat sedikit saja salah dalam pengaturan robots txt ini, maka akan berdampak dan berefek buruk terhadap blog sobat sangatlah besar, serta yang paling fatalnya blog / website sobat dapat diacuhkan / diabaikan oleh mesin pencari.
Sebelum kita masuk pada pengaturan robots txt, ada baiknya kita mengenal apa itu robots txt.
Menurut https://support.google.com/webmasters/answer/6062608?hl=id, robots txt
Singkatnya begini sob, robots txt ini digunakan hanya pada saat keadaan - keadaan tertentu pada blog sobat. Artinya pengaturan robots txt antara satu blog dengan blog yang lainnya itu berbeda sob, menyesuaikan dengan kondisi dan keinginan dari si empunya blog / website. Atau bisa juga dikatakan saringan / filter untuk blog sobat dari para robots pencari.
Keadaan yang bagaimana nih maksudnya??
Jadi untuk pengaturan robots txt ini, menurut saya agar di default saja menurut pengaturan blog dari blogger.
Ini contoh pengaturan robots txt default menurut blogger.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://alamat blog sobat.com/sitemap.xml
Lain halnya, jika sobat menginginkan kondisi atau settingan yang menyesuaikan dengan masalah yang dialami oleh blog sobat. Misalnya: terjadi duplikat konten, spam dari robots, menginginkan blog yang lebih privasi, dan lain sebagainya.
Untuk lebih jelasnya, saya akan mengurai satu persatu perintah demi perintah untuk mensetting robots txt ini, agar sesuai dengan pengaturan robots yang sobat inginkan.
Sebelum kita mengenal tata cara mensetting robots txt ini, ada baiknya sobat mengenal dasar dari pembuatan perintah terhadap robots txt ini.
Setiap pembuatan perintah baru dari robots txt ini, pasti di mulai dari user-agent: kemudian perintah dibawahnya (apakah disallow: atau allow: atau kedua duanya).
Hal tersebut diatas dapat diartikan, jika sobat ingin menambahkan perintah baru terhadap salah satu jenis robots, yang ingin menyesesuaikan dengan pengaturan dari blog / website sobat. Sebab ada banyak jenis dan fungsi dari pengaturan perintah terhadap robots tersebut.
Jadi, jika sobat ingin menambahkan perintah terhadap satu jenis robots baru, sobat dapat melihat contoh seperti dibawah ini.
User-agent:
Disallow:
Allow:
Untuk jenis - jenis robots dan perintah apa saja yang digunakan dalam pengaturan robots txt ini, simak penjelasan dibawah ini sob.
Baca juga: Efek Bagi Blog Akibat Copy Paste Artikel Milik Orang.
Disini saya akan membahas beberapa jenis saja dari robots txt yang umumnya digunakan para blogger mania agar mengcrawl (merayapi) atau tidak mengcrawl (tidak merayapi) blog mereka. Untuk lebih di ingat kembali, pengaturan robots txt ini sesuai dengan keinginan dari sobat sendiri.
Jadi bisa saja sobat memakainya / menggunakannya atau tidak memakainya sama sekali. Sekali lagi, sesuai dengan kondisi dari blog sobat.
Perintah ini ditujukan untuk semua jenis robots (seluruh jenis robots) agar mengcrawl atau tidak mengcrawl blog / website sobat. Ada banyak jenis robots sob misalnya: googlebot, yandexbot, msnbot, duckduckbot, baidubot, slurp dan lain sebagainya.
Untuk fungsi dari user-agent badbot ini, ditujukan agar para bot - bot nakal (bot yang tidak mematuhi perintah / aturan main sesuai dengan fungsinya dari robots txt) untuk mengcrawl atau tidak mengcrawl blog / website sobat. Biasanya robot robot nakal ini melakukan spam yang merugikan para blogger. Beberapa contoh dan jenis dari badbot ini yaitu Baiduspider, MLBot, dan lain sebagainya. Untuk lebih mengenal jenis dan banyaknya dari bad bot ini sobat bisa lihat http://www.botreports.com/badbots/.
Perintah ini ditujukan agar bot - bot dari kepunyaan si mbah google untuk mengcrawl atau tidak mengcrawl konten di blog / website sobat. Jenis dan kegunaanya ada banyak, sobat dapat membacanya disini https://support.google.com/webmasters/answer/1061943?hl=id.
Sumber : http://www.robotstxt.org/robotstxt.html.
Perintah ini ditujukan untuk memberitahukan agar robots mediapartners-google (robots google adsense) untuk meng-crawl (merayapi) atau tidak meng-crawl (tidak merayapi) blog sobat. Robots ini ditujukan untuk sobat yang menginginkan atau tidak menginginkan kerjasama dengan google adsense (iklan dari google).
Dan lain sebagainya.
Setelah kita mengetahui jenis - jenis dan fungsi - fungsi dari robots txt ini, selanjutnya saya akan mengajak sobat untuk mengenal perintah - perintah yang memberitahukan ke jenis robots txt diatas. Perintah - perintah ini ditujukan untuk sobat usaha tanpa batas, yang menginginkan kontrol yang lebih mendetail atau yang lebih spesifik dari robots txt ini untuk blog sobat.
Yang tidak di perbolehkan untuk crawl blog sobat, tidak ada. Maksudnya, perintah ini digunakan agar jenis bot (user-agent:), agar merayapi / mengcrawl / mengizinkan semua konten yang ada di blog sobat tanpa kecuali.
Fungsi dari perintah ini yaitu untuk memberitahukan agar user-agent dari robots tersebut untuk tidak mengizinkan / tidak mengcrawl / tidak merayapi seluruh isi / seluruh konten dari blog / website sobat.
Perintah ini ditujukan untuk memberitahukan agar jenis dari user agent robots untuk tidak mengcrawl / tidak merayapi/ tidak mengizinkan url sobat yang diikuti dengan akhiran ../search.
Misalnya: nama blog sobat.com/search/label, nama blog sobat.com/search/search?updated dan lain sebagainya.
Hal ini digunakan atau untuk memberitahukan pada user-agent bahwa halaman label bukanlah halaman yang unik dari blog sobat.
Tidak ada perintah
Allow:
Yang ada hanyalah perintah Disallow:
Perintah ini juga digunakan untuk memberitahukan user-agent agar semua konten yang ada di blog / website sobat dirayapi / di crawl tanpa kecuali satu pun. Bedanya dengan perintah disallow diatas ialah, perintah ini biasanya di kombinasikan dengan perintah disallow:.
Caranya sangat gampang sob, masukkan atau tambahkan /robots.txt pada akhiran alamat url blog sobat. Atau lebih mudahnya seperti ini http(https)://alamat blog sobat.com/robots.txt kemudian tekan enter pada browsing sobat.
Untuk penyetingan robots txt sesuai dengan kondisi yang blog sobat inginkan, saya akan berikan beberapa tips. Selanjutnya silahkan sobat kembangkan sendiri sesuai dengan kondisi dari blog / website sobat.
Perintah di bawah ini ditujukan untuk seluruh jenis robots tanpa kecuali, baik itu googlebot, yandexbot, msnbot, duckduckbot, baidubot, slurp dan lain sebagainya.
User-agent: *
Disallow:
User-agent: *
Disallow: /
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Kode diatas memberitahu agar seluruh robots (tanpa kecuali) untuk tidak mengcrawl / tidak merayapi seluruh file yang ada di folder cgi-bin, wp-admin, wp-includes serta folder plugins, cache dan themes yang merupakan sub bagian dari folder wp-content. Perintah tersebut digunakan untuk wordpress yang menggunakan tipe self-hosted.
Saya ambil contoh disini, untuk memblokir seluruh konten yang mengandung "?".
User-agent: *
Disallow: /*?*
User-agent: *
Disallow: *.php/$
Disallow: *.css/$
Disallow: *.js/$
User-agent: *
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Misalnya halaman about, privacy, contact, dan lain sebagainya. Kita ambil contoh halaman about.
User-agent: *
Disallow: /p/alamat halaman about sobat.html
7 cara diatas adalah salah satu contoh untuk memberitahukan / memberikan perintah kepada seluruh robots tanpa kecuali.
Nah untuk pengaturan agar memberitahukan kepada beberapa robots user-agent saja, akan saya berikan contoh. Disini saya akan memberikan contoh jenis user-agent yang dimiliki google.
Kenapa google? Karena robots search engine dari google ini yang banyak dikenal dan dipakai oleh para viewers dan blogger. Sobat juga dapat mengkombinasikannya dengan robots dari user-agent lainnya kok.
Misalnya sobat ingin memblokir hanya halaman /p agar tidak dirayapi para robots google, sobat dapat menggunakan kode berikut.
User-agent: Googlebot
Disallow: /p/alamat halaman about sobat.html
Allow: /
Atau jika sobat menginginkan agar robots image dari google tidak merayapi gambar sobat, dapat menggunakan kode dibawah ini.
User-agent: Googlebot
Disallow:
User-agent: Googlebot-Image
Disallow: /personal
Untuk kombinasi robots dengan user-agent lainnya, silahkan sobat kombinasikan sendiri sesuai keinginan sobat. Dibawah ini merupakan contoh kombinasi untuk pengaturan robots txt.
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /p/about.html
Allow: /
User-agent: *
Disallow: /search
Allow:/
Sitemap: http://alamat blog sobat.com/sitemap.xml
Kode diatas dapat diartikan.
1. User-agent: Mediapartners-Google
Disallow:
Artinya yaitu memperbolehkan robots google adsense merayapi seluruh isi / konten dari blog
2. User-agent: Googlebot
Disallow: /p/about.html
Allow: /
Artinya yaitu untuk memberitahukan agar google bot merayapi atau mengcrawl seluruh konten sobat terkecuali halaman dari about untuk tidak dirayapi.
Dalam hal ini robots google adsense juga tidak akan merayapi dari halaman about tersebut, dikarenakan robots google adsense ini merupakan bagian dari googlebot.
3. User-agent: *
Disallow: /search
Allow:/
Artinya yaitu untuk memberitahukan agar seluruh jenis robots untuk merayapi atau mengcrawl seluruh isi konten blog / website sobat, terkecuali url yang diikuti akhiran ../search pada blog sobat.
Dalam hal ini robots dari googlebot juga tidak akan merayapi url yang diikuti akhiran ../search, dikarenakan perintah pada user-agent: * ini tertuju pada semua jenis robots termasuk googlebot.
Itulah contoh kode kombinasi yang dapat dipakai pada pengaturan robots txt. Untuk menyesuaikan kondisi dan situasional pada blog / website sobat, silahkan dipahami terlebih dahulu tata cara, jenis robots, kombinasi dan lain sebagainya.
Untuk cara mengaktifkan robots txt di blogger, silahkan sobat mengikuti panduan dibawah ini.
Kemudian akan muncul menu tampilan seperti gambar dibawah ini.
Lalu masukkan semua perintah robots yang fixed ke dalam kotak tersebut (dibatasi hanya 10.000 karakter), kemudian klik simpan perubahan.
Note:
Baca Juga: Cara Mendaftar Popcash Sampai Pencairan Dollar Tutorial Lengkap.
Demikianlah Cara setting / pengaturan dari robots txt yang baik dan benar agar lebih SEO friendly di search engine. Jika menurut sobat Usaha Tanpa Batas artikel ini menarik dan berguna, silahkan di share. Atau jika sobat kurang mengerti dan ada yang ingin dipertanyakan dengan tutorial diatas, silahkan berkomentar di kolom komentar, atau dapat juga mengirimkan email kepada saya secara langsung melalui contact us.
Salam Sukses.
Dikarenakan untuk pengaturan robots txt ini sangat sensitif, dan jika sobat sedikit saja salah dalam pengaturan robots txt ini, maka akan berdampak dan berefek buruk terhadap blog sobat sangatlah besar, serta yang paling fatalnya blog / website sobat dapat diacuhkan / diabaikan oleh mesin pencari.
Sebelum kita masuk pada pengaturan robots txt, ada baiknya kita mengenal apa itu robots txt.
Apa itu Robots Txt?
Menurut https://support.google.com/webmasters/answer/6062608?hl=id, robots txt
Singkatnya begini sob, robots txt ini digunakan hanya pada saat keadaan - keadaan tertentu pada blog sobat. Artinya pengaturan robots txt antara satu blog dengan blog yang lainnya itu berbeda sob, menyesuaikan dengan kondisi dan keinginan dari si empunya blog / website. Atau bisa juga dikatakan saringan / filter untuk blog sobat dari para robots pencari.
Keadaan yang bagaimana nih maksudnya??
- Jika sobat menginginkan halaman seperti archive, about, privacy, dan lain sebagainya, untuk tidak di crawl oleh mesin pencari (robot).
- Jika blog sobat mengalami duplikat konten, dan menginginkan salah satu konten yang menyebabkan duplikat tersebut untuk tidak di crawl oleh mesin pencari.
- Jika sobat menginginkan agar blog sobat tidak di crawl oleh mesin pencari (blog yang bersifat pribadi dan hanya pada kalangan tertentu).
- Jika sobat menginginkan agar blog sobat tidak di crawl pada mode mobile (ada beberapa para blogger yang tidak menyukai blognya untuk tampil pada mode mobile).
- dan lain sebagainya sob, tergantung dari situasional atau kondisional dari blog / website sobat.
Jadi untuk pengaturan robots txt ini, menurut saya agar di default saja menurut pengaturan blog dari blogger.
Ini contoh pengaturan robots txt default menurut blogger.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://alamat blog sobat.com/sitemap.xml
Lain halnya, jika sobat menginginkan kondisi atau settingan yang menyesuaikan dengan masalah yang dialami oleh blog sobat. Misalnya: terjadi duplikat konten, spam dari robots, menginginkan blog yang lebih privasi, dan lain sebagainya.
Untuk lebih jelasnya, saya akan mengurai satu persatu perintah demi perintah untuk mensetting robots txt ini, agar sesuai dengan pengaturan robots yang sobat inginkan.
Sebelum kita mengenal tata cara mensetting robots txt ini, ada baiknya sobat mengenal dasar dari pembuatan perintah terhadap robots txt ini.
Setiap pembuatan perintah baru dari robots txt ini, pasti di mulai dari user-agent: kemudian perintah dibawahnya (apakah disallow: atau allow: atau kedua duanya).
Hal tersebut diatas dapat diartikan, jika sobat ingin menambahkan perintah baru terhadap salah satu jenis robots, yang ingin menyesesuaikan dengan pengaturan dari blog / website sobat. Sebab ada banyak jenis dan fungsi dari pengaturan perintah terhadap robots tersebut.
Jadi, jika sobat ingin menambahkan perintah terhadap satu jenis robots baru, sobat dapat melihat contoh seperti dibawah ini.
User-agent:
Disallow:
Allow:
Untuk jenis - jenis robots dan perintah apa saja yang digunakan dalam pengaturan robots txt ini, simak penjelasan dibawah ini sob.
Baca juga: Efek Bagi Blog Akibat Copy Paste Artikel Milik Orang.
Jenis - Jenis Robots Txt
Disini saya akan membahas beberapa jenis saja dari robots txt yang umumnya digunakan para blogger mania agar mengcrawl (merayapi) atau tidak mengcrawl (tidak merayapi) blog mereka. Untuk lebih di ingat kembali, pengaturan robots txt ini sesuai dengan keinginan dari sobat sendiri.
Jadi bisa saja sobat memakainya / menggunakannya atau tidak memakainya sama sekali. Sekali lagi, sesuai dengan kondisi dari blog sobat.
User-agent: * (all bot)
Perintah ini ditujukan untuk semua jenis robots (seluruh jenis robots) agar mengcrawl atau tidak mengcrawl blog / website sobat. Ada banyak jenis robots sob misalnya: googlebot, yandexbot, msnbot, duckduckbot, baidubot, slurp dan lain sebagainya.
User-agent: badbot (all bot)
Untuk fungsi dari user-agent badbot ini, ditujukan agar para bot - bot nakal (bot yang tidak mematuhi perintah / aturan main sesuai dengan fungsinya dari robots txt) untuk mengcrawl atau tidak mengcrawl blog / website sobat. Biasanya robot robot nakal ini melakukan spam yang merugikan para blogger. Beberapa contoh dan jenis dari badbot ini yaitu Baiduspider, MLBot, dan lain sebagainya. Untuk lebih mengenal jenis dan banyaknya dari bad bot ini sobat bisa lihat http://www.botreports.com/badbots/.
User-agent: googlebot (all bot google)
Perintah ini ditujukan agar bot - bot dari kepunyaan si mbah google untuk mengcrawl atau tidak mengcrawl konten di blog / website sobat. Jenis dan kegunaanya ada banyak, sobat dapat membacanya disini https://support.google.com/webmasters/answer/1061943?hl=id.
Sumber : http://www.robotstxt.org/robotstxt.html.
User-agent: Mediapartners-Google (single bot)
Perintah ini ditujukan untuk memberitahukan agar robots mediapartners-google (robots google adsense) untuk meng-crawl (merayapi) atau tidak meng-crawl (tidak merayapi) blog sobat. Robots ini ditujukan untuk sobat yang menginginkan atau tidak menginginkan kerjasama dengan google adsense (iklan dari google).
Dan lain sebagainya.
Perintah Dalam Robots Txt (untuk crawl atau tidak crawl)
Setelah kita mengetahui jenis - jenis dan fungsi - fungsi dari robots txt ini, selanjutnya saya akan mengajak sobat untuk mengenal perintah - perintah yang memberitahukan ke jenis robots txt diatas. Perintah - perintah ini ditujukan untuk sobat usaha tanpa batas, yang menginginkan kontrol yang lebih mendetail atau yang lebih spesifik dari robots txt ini untuk blog sobat.
- Seluruh perintah terhadap robots txt dibawah ini dapat digunakan untuk satu persatu user-agent.
- Dapat di kombinasikan antara satu perintah dengan perintah lainnya untuk satu user-agent.
- Dapat juga dikombinasikan antara satu user-agent dengan user-agent lainnya.
- Serta dapat juga hanya berupa satu perintah untuk satu user-agent.
Disallow :
Yang tidak di perbolehkan untuk crawl blog sobat, tidak ada. Maksudnya, perintah ini digunakan agar jenis bot (user-agent:), agar merayapi / mengcrawl / mengizinkan semua konten yang ada di blog sobat tanpa kecuali.
Disallow: /
Fungsi dari perintah ini yaitu untuk memberitahukan agar user-agent dari robots tersebut untuk tidak mengizinkan / tidak mengcrawl / tidak merayapi seluruh isi / seluruh konten dari blog / website sobat.
Disallow: /search
Perintah ini ditujukan untuk memberitahukan agar jenis dari user agent robots untuk tidak mengcrawl / tidak merayapi/ tidak mengizinkan url sobat yang diikuti dengan akhiran ../search.
Misalnya: nama blog sobat.com/search/label, nama blog sobat.com/search/search?updated dan lain sebagainya.
Hal ini digunakan atau untuk memberitahukan pada user-agent bahwa halaman label bukanlah halaman yang unik dari blog sobat.
Tidak ada perintah
Allow:
Yang ada hanyalah perintah Disallow:
Allow: /
Perintah ini juga digunakan untuk memberitahukan user-agent agar semua konten yang ada di blog / website sobat dirayapi / di crawl tanpa kecuali satu pun. Bedanya dengan perintah disallow diatas ialah, perintah ini biasanya di kombinasikan dengan perintah disallow:.
Bagaimana Cara Mengecek Robots Txt Milik Sobat
Caranya sangat gampang sob, masukkan atau tambahkan /robots.txt pada akhiran alamat url blog sobat. Atau lebih mudahnya seperti ini http(https)://alamat blog sobat.com/robots.txt kemudian tekan enter pada browsing sobat.
Cara Setting Robots Txt yang Baik dan Benar serta Valid SEO Friendly
Untuk penyetingan robots txt sesuai dengan kondisi yang blog sobat inginkan, saya akan berikan beberapa tips. Selanjutnya silahkan sobat kembangkan sendiri sesuai dengan kondisi dari blog / website sobat.
Perintah Untuk Seluruh Robots Tanpa Kecuali
Perintah di bawah ini ditujukan untuk seluruh jenis robots tanpa kecuali, baik itu googlebot, yandexbot, msnbot, duckduckbot, baidubot, slurp dan lain sebagainya.
1. Cara untuk memberitahukan kepada semua robots agar merayapi semua isi konten sobat tanpa kecuali.
User-agent: *
Disallow:
2. Cara untuk memblokir / tidak merayapi seluruh isi konten sobat (jika sobat menginginkan blog yang bersifat privasi).
User-agent: *
Disallow: /
3. Cara untuk memblokir seluruh bot ke dalam beberapa directory.
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Kode diatas memberitahu agar seluruh robots (tanpa kecuali) untuk tidak mengcrawl / tidak merayapi seluruh file yang ada di folder cgi-bin, wp-admin, wp-includes serta folder plugins, cache dan themes yang merupakan sub bagian dari folder wp-content. Perintah tersebut digunakan untuk wordpress yang menggunakan tipe self-hosted.
4. Cara untuk memblokir url yang memiliki karakter tertentu / kata tertentu (biasanya digunakan untuk yang mengalami duplikat konten).
Saya ambil contoh disini, untuk memblokir seluruh konten yang mengandung "?".
User-agent: *
Disallow: /*?*
5. Cara untuk memblokir format file tertentu, misalnya PHP, CSS dan Java Script (JS).
User-agent: *
Disallow: *.php/$
Disallow: *.css/$
Disallow: *.js/$
6. Cara untuk memblokir agar seluruh robots tidak merayapi blog / website / seluruh konten sobat pada mode selular.
User-agent: *
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
7. Cara untuk memblokir agar seluruh robots tidak merayapi halaman /p.
Misalnya halaman about, privacy, contact, dan lain sebagainya. Kita ambil contoh halaman about.
User-agent: *
Disallow: /p/alamat halaman about sobat.html
7 cara diatas adalah salah satu contoh untuk memberitahukan / memberikan perintah kepada seluruh robots tanpa kecuali.
Perintah Hanya untuk Beberapa Robots user-agent saja.
Nah untuk pengaturan agar memberitahukan kepada beberapa robots user-agent saja, akan saya berikan contoh. Disini saya akan memberikan contoh jenis user-agent yang dimiliki google.
Kenapa google? Karena robots search engine dari google ini yang banyak dikenal dan dipakai oleh para viewers dan blogger. Sobat juga dapat mengkombinasikannya dengan robots dari user-agent lainnya kok.
Misalnya sobat ingin memblokir hanya halaman /p agar tidak dirayapi para robots google, sobat dapat menggunakan kode berikut.
User-agent: Googlebot
Disallow: /p/alamat halaman about sobat.html
Allow: /
Atau jika sobat menginginkan agar robots image dari google tidak merayapi gambar sobat, dapat menggunakan kode dibawah ini.
User-agent: Googlebot
Disallow:
User-agent: Googlebot-Image
Disallow: /personal
Untuk kombinasi robots dengan user-agent lainnya, silahkan sobat kombinasikan sendiri sesuai keinginan sobat. Dibawah ini merupakan contoh kombinasi untuk pengaturan robots txt.
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /p/about.html
Allow: /
User-agent: *
Disallow: /search
Allow:/
Sitemap: http://alamat blog sobat.com/sitemap.xml
Kode diatas dapat diartikan.
1. User-agent: Mediapartners-Google
Disallow:
Artinya yaitu memperbolehkan robots google adsense merayapi seluruh isi / konten dari blog
2. User-agent: Googlebot
Disallow: /p/about.html
Allow: /
Artinya yaitu untuk memberitahukan agar google bot merayapi atau mengcrawl seluruh konten sobat terkecuali halaman dari about untuk tidak dirayapi.
Dalam hal ini robots google adsense juga tidak akan merayapi dari halaman about tersebut, dikarenakan robots google adsense ini merupakan bagian dari googlebot.
3. User-agent: *
Disallow: /search
Allow:/
Artinya yaitu untuk memberitahukan agar seluruh jenis robots untuk merayapi atau mengcrawl seluruh isi konten blog / website sobat, terkecuali url yang diikuti akhiran ../search pada blog sobat.
Dalam hal ini robots dari googlebot juga tidak akan merayapi url yang diikuti akhiran ../search, dikarenakan perintah pada user-agent: * ini tertuju pada semua jenis robots termasuk googlebot.
Itulah contoh kode kombinasi yang dapat dipakai pada pengaturan robots txt. Untuk menyesuaikan kondisi dan situasional pada blog / website sobat, silahkan dipahami terlebih dahulu tata cara, jenis robots, kombinasi dan lain sebagainya.
Bagaimana Cara Mengaktifkan Robots Txt Khusus Di Blogger
Untuk cara mengaktifkan robots txt di blogger, silahkan sobat mengikuti panduan dibawah ini.
- Masuk ke Menu Setelan.
- Preferensi Penelusuran.
- Kemudian klik Edit pada robots txt khusus.
Kemudian akan muncul menu tampilan seperti gambar dibawah ini.
Lalu masukkan semua perintah robots yang fixed ke dalam kotak tersebut (dibatasi hanya 10.000 karakter), kemudian klik simpan perubahan.
Note:
- Harap dibaca kembali peringatan yang saya kotak merah pada gambar pertama.
- Sebelum memasukkan tag robots txt pada kotak gambar kedua, ada baiknya sobat membuat terlebih dahulu pada notepad untuk lebih fixednya. Tag apa sajakah yang sobat butuhkan / kondisional sesuai yang dibutuhkan dari blog / website sobat.
- Ingat, saya tidak akan bertanggung jawab apabila terjadi sesuatu pada blog sobat (tidak di crawl dari para rerobot).
- Saya sangat merekomendasikan agar sobat memakai tag robots default bawaan dari blog / website sobat.
Baca Juga: Cara Mendaftar Popcash Sampai Pencairan Dollar Tutorial Lengkap.
Demikianlah Cara setting / pengaturan dari robots txt yang baik dan benar agar lebih SEO friendly di search engine. Jika menurut sobat Usaha Tanpa Batas artikel ini menarik dan berguna, silahkan di share. Atau jika sobat kurang mengerti dan ada yang ingin dipertanyakan dengan tutorial diatas, silahkan berkomentar di kolom komentar, atau dapat juga mengirimkan email kepada saya secara langsung melalui contact us.
Salam Sukses.