Web Crawler Multi-Thread Terdistribusi Untuk Penghimpunan Dan Ekstraksi Halaman Web Berita Olahraga Bergantung Struktur

Web crawler merupakan program yang digunakan suatu search engine untuk menghimpun informasi yang diperlukan dari internet secara otomatis sesuai dengan aturan yang telah ditetapkan oleh pengguna. Web crawler umumnya menerapkan teknik pemrograman single-thread dan belum menerapkan deteksi pembaruan web, jadi kecepatan dalam proses crawling belum maksimal. Sedangkan pada saat ini teknologi informasi berkembang pesat, maka perlu adanya suatu web crawler yang memiliki kecepatan tinggi dalam proses crawling dan menyediakan informasi yang terbaru untuk memenuhi kebutuhan informasi penggunanya. Penelitian ini menerapkan teknik pemrograman multi-thread terdistribusi dalam pengembangan web crawler untuk menghasilkan web crawler yang lebih cepat dalam proses crawling berita olahraga. Selain itu, penelitian ini juga menerapkan deteksi pembaruan halaman website untuk mendapatkan informasi terbaru. Proses crawling atau ekstraksi isi halaman sangat bergantung dengan struktur dari website tersebut. Hasil dari penerapan konsep pemrograman multi-thread dapat meningkatkan kecepatan proses crawling dibandingkan single-thread sebesar 122,95 detik. Kemudian penerapan deteksi pembaruan web kecepatan proses crawling menurun yakni 6,27 detik. Tetapi keunggulan penerapan deteksi pembaruan web data yang tersimpan tidak sama. Begitupun pada penerapan distribusi database, kecepatan proses crawling mengalami penurunan sebesar 24,76 detik pada server 1 dan 23,92 detik pada server 2.