ABSTRAKSI: Mesin pencari memiliki beberapa komponen. Salah satu komponennya yaitu, web crawler. Web crawler adalah program yang mengumpulkan informasi yang akan ditempatkan pada database. Setiap kali web crawler mengunjungi sebuah website, maka dia akan mendata dan mengurutkan semua link yang ada di halaman yang dikunjunginya itu untuk kemudian dikunjungi lagi satu persatu. Mengunjungi URL dan melakukan download dokumen penting terlebih dahulu sangat berguna saat crawler tidak dapat mengunjungi seluruh website.
Tugas akhir ini mengkaji tiga algoritma yang dapat digunakan untuk pengimplementasian web crawler, yaitu Backlink, BFS, dan PageRank.
Hasil pengujian menunjukkan bahwa algoritma BFS adalah algoritma terbaik jika dilihat dari sisi waktu proses. Sedangkan jika dilihat dari segi Backlink Metric, algoritma Backlink menunjukkan performansi terbaiknya dibandingkan dengan algoritma BFS dan PageRank.
Kata Kunci : backlink, BFS, pagerank, web crawler, website.ABSTRACT: Search engine has some components. One of the components is web crawler. Web crawler is a program that collects information to be placed in a database. Every web crawler visit a website, it will list and order all links there then visits them one-by-one. Visiting URL and downloading important documents first can be very useful when a crawler cannot visit the entire website.
This final project mainly focused on the implementation of three algorithms that can be applied on a web crawler, which are Backlink, BFS, and PageRank.
Testing results show that BFS algorithm is the best algorithm for process time aspect, while Backlink algorithm is the best algorithm for the Backlink Metric aspect compared to the other algorithms.
Keyword: backlink, BFS, pagerank, web crawler, website.