Web Crawler adalah program otomatis yang relatif sederhana, atau script, yangmetodis scan atau "menjelajah" melalui halaman internet untuk membuat indeks dari data itu cari; program-program ini biasanya dibuat untuk digunakan hanya sekali, tetapi mereka dapat diprogram untuk penggunaan jangka panjang juga. Ada beberapa kegunaan untuk program ini, mungkin mesin pencari paling populer yang menggunakannya untuk memberikan peselancar web dengan situs yang relevan.Pengguna lain termasuk ahli bahasa dan peneliti pasar, atau setiap orang yang mencoba untuk mencari informasi dari internet dengan cara yang terorganisasi. Nama alternatif untuk web crawler termasuk web spider, web robot, bot, crawler, danpengindeks otomatis. Program crawler dapat dibeli di Internet, atau dari banyak perusahaan yang menjual perangkat lunak komputer, dan program dapat didownload untuk kebanyakan komputer. 

-Kelemahan :

Mengingat dia sejatinya mesin atau program, kita mesti menyesuaikan (semisal konten yang berguna) agar web crawler juga tahu bahwa halaman yang sedang dijelajahinya berisi informasi bermanfaat. Sebab, mesin web crawlerc menandai proses-proses tertentu dalam situs sebagai kelemahan. Misalnya, halaman-halaman yang lamban saat dipanggil mungkin dilewati begitu saja. Atau, lantaran konfigurasi situs tidak terlalu bagus membuat si web crawler kurang efisien kala mengeksplorasi. Lalu, dia lebih fokus pada beberapa halaman dan melewatkan yang lain padahal mungkin isinya penting. Ini akan menjadi tantangan tersendiri bagi situs ritel besar yang banyak mengandung konten dinamis, yaitu halaman web yang kompleks (misalnya konten yang dipersonalisasi).

-Kelebihan : 

Proses sebuah web crawler untuk mendata link – link yang terdapat didalam sebuah halaman web menggunakan pendekatan regular expression. Crawler akan menelurusi setiap karakter yang ada untuk menemukan hyperlink tag html (<a>). Setiap hyperlink tag yang ditemukan diperiksa lebih lanjut apakah tag tersebut mengandung atribut nofollow rel, jika tidak ada maka diambil nilai yang terdapat didalam attribute href yang merupakan sebuah link baru.

Sumber Artikel : http://hardyyudha2.blogspot.com/2012/03/pengertian-kelebihan-dan-kekurangan.html

Nama : Allen Ershandy Harindinata

Kelas : 9A

No     : 04