Googlebot menggerus bandwith....?

You are here >

Fri 12 Mar 2010

Monday, 06 July 2009 18:54

Spider,bot,crawler atau search engine bot adalah program yang mengindeks halaman web untuk memberikan data terbaru kepada search engine.Spider akan menelusuri halaman web kita,menambahkan halaman terbaru web kita ,memfilternya dan mengindeksnya bersama ribuan halaman lain yang dihubungkan dengan sebuah kata kunci.Tentunya kehadiran mereka sangat dibutuhkan,setidaknya agar ada sebuah jalan untuk menememukan halaman web kita di belantara internet ini.Namun kehadiran mereka ternyata juga membuahkan sedikit masalah,setidaknya bagi saya.

Sudah 4 bulan ini,web ini rada bermasalah dengan kapasitas bandwithnya.Setidaknya pada penghujung bulan,halaman web tidak bisa dipanggil karena bandwith yang sudah mencapai limit.Bermula dari kapasitas bandwith 2 GB,bulan berikutnya naik menjadi 3,hingga sekarang menjadi 4 GB.Meskipun dengan bandwith sebesar itu saya masih was-was bahwa di penghujung bulan nantinya bandwith tidak juga mencukupi.Kebetulan saya memakai hosting dengan penggunaan kuota bandwith.

Ternyata,pemakan bandwith yang paling rakus adalah spider,bots dan teman temannya.Googlebot milik search engine Google menghabiskan bandwith paling banyak.Dari penelusan data yang ditunjukkan AWStat pada Cpanel,Googlebot menghabiskan bandwith sebanyak 1,14 GB.Total bandwith yang dihabiskan oleh search bot adalah lebih dari separo kuota bandwith yang ada.Dengan kata lain habisnya bandwith belum tentu menunjukkan kenaikan trafic pengunjung secara signifikan.Bisa jadi spiders yang terlampau "rajin" menyambangi website kita menjadi penyebab utamanya.Data kunjungan search bot lebih jelas terlihat di {tpbox type={image} desc={Statistik kujungan} text={gambar ini} title={Galeri}}http://birulangit.net/images/stories/statistikbot.jpg{/tpbox}

Beberapa forum yang saya sambangi memberi petunjuk untuk mencegah agar search engine bot tidak terlampau rakus menghabiskan bandwith.Petunjuk yang lebih mengarah untuk bisa dicoba,karena ada beberapa pengunjung forum mengesampingkan cara tersebut karena dinilainya tidak efektif.

Block IP search bot yang diinginkan dengan cara menambahkan baris perintah di .httacces :

order allow,deny
deny from 38.99.13.123
deny from 61.135.162.52
allow from all

Mengurangi frekwensi kunjungan search bot dengan menambahkan baris perintah di robots.txt :

User-agent: msnbot
Crawl-delay: 120

Block search bot dengan menuliskan nama searchbot pada .httacces :

Pengguna ModRewrite {Apache}

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Twiceler [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider
RewriteRule ^.* - [F,L]

Jika tidak menggunakan ModRewrite :

SetEnvIfNoCase user-agent "^Twiceler" bad_bot=1
SetEnvIfNoCase user-agent "^Xaldon\ WebSpider" bad_bot=1
SetEnvIfNoCase user-agent "^Baiduspider" bad_bot=1
<FilesMatch "(.*)">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</FilesMatch>

Menambahkan meta tag pada index.php yang bertujuan sama sebenarnya yaitu mengurangi frekwensi kunjungan search bot.

Mencegah agar search bot tidak mengindeks file image ataupun video agar setidaknya beban bandwith tidak terlampau berat :

RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} Google [NC]
RewriteRule ^albums/.* images/spacer.gif [L]

Sebenarnya dari penelusuran pada data di Cpanel ada beberapa search bot yang tidak terlampau perlu diakomodasi.Masalahnya,search bot yang dimaksud tidak terlampau menguras bandwith.Tidak mengijinkan Googlebot untuk mengindeks,meskipun Googlebot paling banyak menguras bandwith,tentunya juga bukan pilihan yang saya berani melakukannya.Akhirnya,saya lebih memilih cara terakhir,agar search bot tidak mengindeks file gambar yang bertebaran di web saya.Mungkin di lain waktu saya akan mencoba yang lain.Barangkali dari rekan blogger ada yang pernah mengalami dan mempunyai cara lain yang lebih efektif?.