
The Robot Exclusion Standard, atau sering kita kenal sebagai Robots Exclusion Protocol atau robots.txt protokol, adalah sebuah konvensi untuk mencegah web crawler bekerja sama dengan robot web lain untuk mengakses semua atau bagian dari sebuah website yang jika dilihat secara terbuka.
Robot sering digunakan mesin pencari untuk mengkategorikan dan mengarsip situs web, atau web master untuk mengkoreksi Source code. Dari beberapa artikel yang pernah saya baca, bahwa penggunaan robot.txt ini sangat berguna untuk mendongkrak performa SEO sebuah blog.
Misalkan ada suatu halaman blog yang tidak ingin kita tampilkan kepada publik dan mesin pencari, maka kita bisa memanfaatkan fungsi robot.txt ini untuk memblokir halaman tersebut. Blogger pun dalam hal ini sudah mendukung fungsi ini dan hal ini menunjukkan bahwa platform blogger semakin memudahkan kita untuk melakukan upaya optimasi SEO blog kita.
Cara mengaktifkan dan Setting Robot.txt
1. Log in ke blogger dengan akun blogger anda.
2. Klik setelan > preferensi penelusuran / search preference
3. Pada Tab Perayap dan pengindeksan pilihlah robot.txt khusus > edit
4. Copy rangkaian kode berikut ini ke dalam kotak yang tersedia :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://bloggerblog67.blogspot.com/feeds/posts/default?orderby=UPDATED
Gantilah alamat url bloggerblog67.blogspot.com dengan alamat url blog anda.
5. Simpan template anda.
Keterangan:
Kelompok baris pertama merupakan informasi user agent milik google menandakan bahwa blog ini adalah partner dari google, hal ini memudahkan bagi anda yang ingin menggunakan jasa google adsense agar iklan yang nantinya ditampilkan relevan dengan isi blog anda, juga memberitahukan bahwa blog kita bisa diakses melalui mesin pencari.
Kelompok baris kedua adalah informasi untuk semua mesin crawler search engine. Disana dituliskan disallow:/search yag menandakan semua robot mesin pencari tidak boleh mengindeks page label. yang ini berguna untuk menegah duplikasi artikel yang sangat tidak disukai oleh google.
Kelompok baris ketiga merupakan sitemap yang berfungsi memudahkan mesin pencari mengindeks blog anda
Tanda "/" adalah tanda home page anda jadi jangan hanya meletakkan tanda ini pada kolom disallow karena berakibat mesin pencari tidak bisa mengindex home anda.
Cara Setting Robot Header Tags.
1. Masih di menu setting Search preferences / Preferensi penelusuran
2. Dibagian paling bawah ada menu Custom robots header tags. Klik edit.
3. Pilih yes
4. Akan muncul kotak settingan, samakan setingan seperti gambar dibawah ini
5. Simpan perubahan anda.
Sumber inspirasi :
Bilamana anda membutuhkan backlink yang berkualitas untuk mendongkrak posisi SERP blog anda, silahkan anda menuju link Forum Komunikasi Majalah Blog (FKMB).
131 komentar
Setting Robot txt dan header robot memang diperlukan dalam rangka optimasi sebuah blog agar mampu bersaing pada posisi SERP.
Balasthanks mas,
BalasSalam kenal ya?
trims mz bro udah sy terapkan ilmunya
Balasbermanfaat sekali informasinya untuk saya yg sedang kesulitan setting blog saya
Balashttp://pohon-dendrum.blogspot.com/
thank info nya
Balaskunjungannya ditunggu ya
http://oun-ginseng.blogspot.com
ia gan mantab infonye aku sendiri udah buktikan gara gara seting robot txt nya sekarang harian malah di bawah hari pertama dibawah 600 ke 2 cuman 111 ke 3 dibawah 50 asem padahal harian biasanya 1500 bahkan pernah sehari 16 900 an hedehh pening kepala ane
Balasthank gan
Balasinfo nya sangat membantu,
Balasty ya gan
yg suka real poker visit this one.
http://bazzginting.blogspot.com/
meningkatkan website di pengindexkan google, nice info gan
Balasthanks gan
Balasfokese.blogspot.com
thanks so much ya sob,bermanfat sekali buat saya
Balasmakasi bang Infonya...
Balasmantap gan,,thank infonya,,langsung praktek nih
Balasthnks gan, kunjung ke http://muhyidinbisnis.blogspot.com
Balassaran dan kritik saya harapkan
Maaf link hidup tidak akan tampil di sini!
BalasThanks mas, ini sangat membantu saya yang newbie
Balastq infonya Mas Bro
Balashttp://distributormatsuyama.blogspot.com
Trims infonya, sangat penting nih untuk SEO.
Balasmakasih
Balashttp://sheredandgame.blogspot.com/
makasih banget gan...salam kenal..
Balashttp://blogbahasainggrisku.blogspot.com
Thanks infonya, sudah saya coba gan...kalo mau nglihat efeknya setelah dirubah gimana?
Balashttp://blogbahasainggrisku.blogspot.com
terima kasih banyak mas, sangat membatu
Balassalam silaturahmi kembali
sangat bermanfaat gann infonya
Balashttp://manfaatartikelkita.blogspot.com/2014/03/asus-notebook-terbaik-dan-favoritku_9428.html
Terimakasih mas,.
BalasKunjungi juga blog saya dan komen ya hehe_
http://firdaustok.blogspot.com
mantap sob
BalasTerima kasih informasinya, setelah muter kesana kemari akhirnya menemukan juga
BalasThanks yah bos , sangat bermanfaat untuk blog yah masih pemula nih , coba mampir juga di apartemenjakartabarat.blogsot.com
Balasthx infonya mas
BalasMakasih atas infonya gan, sangat membantu
Balasthank infonya..
Balashttp://www.muizcyan.co.vu/
makasih brow
Balasterima kasih infonya
Balasakhirnya bisa juga
Balasmksh ya gan http://centralneosizexl.blogspot.com
Balasmaksih infonya gan
Balasapakah robot txt yang menjadi penyebab deindex artikel?
Balasthanks gan
Balasgk ngudeng mass.. :3
Balasitu di paste kan kemana yaa..? :3
kalo untuk website penjualan bisa di pake gak?? kalo yang di atas kan untuk jenis bloger, maaf gan masih awam hehehe
BalasIni artikel tutorial yang sedang saya cari, penyajiannya gamblang sehingga mudah dijadikan panduan saat saya memperaktekkannya, terima kasih Mas, salam.
Balasmantap info nya gan, boleh dicoba nih
Balasinfo yang bermanfaat., makasih mas.
Balassangat membantu sekali gan,thx
BalasTengkyu gan atas infonya..
BalasAne buat untuk blog ini http://chubbindonesia.blogspot.com
Wah bagus juga info Gan.
Balasbagus postinganya sangat berguna ,
Balashttp://andoniseo.blogspot.com
Sangat Bermanfaat.......'
Balashttp://anugrahac.blogspot.com
trims ya
BalasMantap sob
Balasthanks gan....
Balashttp://tbenzholong.blogspot.com/search/label/Humor
Mantap infonya sob, thanks banget, ini sangat bermanfaat untuk blogger pemula seperti saya ini. sekali lagi thanks sob
BalasNice info Gan.
Balassalam kenal
Balashttp://danzierg.blogspot.com
Makasih yach Pak informasinya totorialnya (y) Sangat membantu n jgn lupa yach jalan2 ke situs kami http://luwurayatvnews.blogspot.com/
Balasmantap abis ne postnya gan
Balassalam blogger
izin coba gan, semoga lancar
Balasthanks mas info bermanfaat nya
Balashttp://nano-spray2mci.blogspot.com
thanks pencerahanya Gan...
Balasterimakasih atas petuahnya mbah ...
BalasSetting Robot Header Tags fungsinya apa ya
Balasorderby=UPDATED maksudnya apa ya?
BalasMa kasih Gan atas infonya, sangat bermanfaat
BalasTapi mas mengaktifkan Robot.txt
Balasada peringatan gitu gpp gitu? takutya google malah gak mau merayap ke Blog saya
Semoga ilmunya barokah,,,
Balassalam kenal mas, n terimaksih sharenya,,
BalasGood job, tks gan
Balasmakasih ya
BalasMaaf link hidup tidak akan tampil di sini!
Balasterimakasih gan bermanpaat.. langsung di coba...
BalasMaaf link hidup tidak akan tampil di sini!
Balasterima kasih gan
Balaswah mantap boss
Balaskalau ada waktu mampir
vimax2.blogspot.com
informasi yang singat tapi mudah di mengertii
BalasMantab..!!!
Balashttp://jakartabordir.blogspot.com/
saya sudah memasang robot txt khusus, maupun tag tajuk robot khusus, tetapi masih tenggelam blog saya ya, tidak muncul di search google "face painting jakarta", mohon pencerahannya agan
Balashttp://nazillaart.blogspot.com
kira2 apa kenggunalan menggunakan robot.txt bawaan blog dengan robot.txt lain
BalasUntuk mempermudah proses crawling blog
BalasCoba lakukan optimasi Meta Title dan Meta Description blog ..., mudah-mudahan berhasil.
BalasSilahkan di copy aja mas bro
BalasSama-sama mas Saryono, thanks for coming
BalasPeringatan macam apa, blog ini aku pasang robot.txt, sekarang udah pagerank 3 ..... ???
BalasBaca lagi artikelnya bang .....
BalasMempermudah indexing artikel2 yang baru di update
BalasSama-sama Mas Adimas Pircoco
BalasRobot txt sifatnya membantu, dan bukan malah melemahkan ....
BalasMakanya dibaca yang teliti..., jangan OOT gitu .. ha ha ha, salam kenal
BalasTerbalik mas bro ....., klo sampean salah setting ya bisa begitu, buktinya aja artikel-artikel blog ini terindeks semuanya ....., dan sekarang udah pagerank 3 ... gimana hayo .... ??
BalasOke mas bro .... salam kenal.
BalasOke mas bro .... salam kenal.
BalasYah ..., semoga bisa bermanfaat ........
BalasHati-hati dengan fake-visitor lho .....
Balasapakah ini bisa berfungsi untuk menigkatkan trafik blog?
BalasArtikelnya dibaca lagi mas bro ..., jangan OOT begitu, malu ama yang lain .....
BalasSemoga sekarang tidak kesulitan lagi, semangat bro
Balasbermanafaat sekali ulasan nya, mengingat saya sangat baru dibidang blog..
Balaskunjungi blog saya www.sedotwcjakselmurah.blogspot.com
Biasa aja bang ..., gak usah di lebih-lebihkan ...... Salam blogger
BalasTrims, sdh saya terapkan. Kl ada sesuatu saya konsul kemari ya,,,
BalasOia misal ada yg salah stlh sy setting apakah cukup dinonaktifkan robot.txt nya akan kembali seperti semula?..
bermanfaat sekali artikelnya , kunjungi juga koleksi theme seo frendly dan fast loading ,toko onlinr, bisnis, plugin dan masih banyak yg lainnya...
Balashttp://wp-tokoonline.blogspot.com
thank's infonya gan..
Balasmaaf gan mau tanya nih maksud kata "Peringatan! Gunakan dengan hati-hati. Penggunaan yang tidak tepat dari fitur tersebut dapat mengakibatkan blog Anda diabaikan oleh mesin telusur." ini itu apa ya?
Balasmba nisa , saya bantu jawab deh,itu jika salah membuat atau menyeting robot.txt nya, memang ada pilihan no follow , jadi kalau sudah di setting no follow mesin perayab ga mau nengok gitu mba, - buat admin met kenal ya..
BalasThanks Suminta Ahmad atas bantuannya ..... he he he
Balaswaw sesuatu ini tapi sayang gak bisa backlink komentar
BalasSelama 6 bulan website saya tidak muncul di pencarian keyword apapun dan setelah menginstal plugin KB robots.Txt dan saya bersyukur sudah terindex pada keyword TOKO SOLO tapi deskripsinya tidak muncul dan yang mau sya tanyaken bagaimana caranya agar deskripsi itu bisa muncul dan mohon saran nya. Terimakasih
Balasini website saya www.toko-solo.com
thanks agan,,berkunjunglah di sini http://palanggay.blogspot.com/
BalasMakasih Bro infonya, bermanfaat banget.
Balaskunjungi balik ya !!! ke http://www.chikahijab.com/
Makasih Bro infonya, bermanfaat banget.
Balaskunjungi balik ya !!! ke http://www.chikahijab.com/
mantap boss..hehehe
Balaspunya saya kok tidak terindex lagi kenapa ya padahal saya sudah seting kb robo txt.
Balasku setting seperti ini --->> Sitemap: http://www.toko-solo.com/sitemap_index.xml.
apa yg salah ya. mohon petunjuknya
Maaf link hidup tidak akan tampil di sini!
BalasSetting Robot Txt dan robot tag header memang magus untuk meredam duplikat description dan duplikat judul
Balasane coba mas, lagi pusing ngilangin duplicate titke tag yg sudah hampir seluruh posting
Balasmakasih gan buat infonya sudah saya terapkan di blog saya thank ya
Balasthanks gan coba main2 ke http://webdeveloperam.blogspot.com/
Balasterimakasih artikel nya sangat membantu
BalasLha kenapa bisa jadi begitu ..... apa nggak lagi kena praktek Negative SEO ?
BalasTuh kan ..., makanya jangan pasang link aktif ... spam itu ...
BalasSubmit ulang aja lewat Webmaster Google
BalasApa bener Kang Hendy ...., he he he he
BalasSama-sama, kenapa avatarnya pakai Mawar Merah ..... ? He he he he
BalasSetting aja di bagian Deskripsi Blog nya mas bro .............
BalasChika ..., hati-hati saat berkomentar, klo ganda begini bisa terdeteksi sebagai spam lho .......
Balasmntap
BalasMakasih infonya gan , kalo ada waktu maen maen k blog saya http://juraganmumut.com/
Balassaya ,alah jadi bingung, kala robot default malah di webmaster banyak yang error, kalau robot yg lain, malah mobile discrition tidak muncul.
Balasterima kasih atas artikelnya, salam kenal
Balashttp://blogvideos7.blogspot.co.id/
giribig.com
idcheat.com
gan apakah cara ini bisa mempercepat pengindex an Google soalnya blog ane blm diiendex juga? Makasih
Balasmain juga ya Http://harian007.blogspot.com
Makasih infonya. Dan ini ada info juga buat teman-teman yang ingin kursus GRATIS di Kampung Inggris
BalasSangat bermanfaat gan infonya mampir mampir yah ke http://gudangtipsdancara.blogspot.co.id/?zx=4ea736fd27579d39
BalasMaaf link hidup tidak akan tampil di sini!
Balasnumpang nanya nih bang nawi . sebelumnya slam kenal ya , itu sitemap nya ada nya di mana nya ya ? wkk anak bawang nih . blm tau .. makasi bang sblm nya .
Balassaba blog ane yaa bang , mnta saran nya hehe tolong ya http://catelliyaflorist.blogspot.co.id/
Silahkan berkomentar bilamana ingin mendapatkan backlink, link aktif dalam komentar pasti akan terhapus. Jangan lupa untuk follow blog ini setelah meninggalkan komentar.