Semakin banyaknya jumlah pengguna situs web di zaman sekarang membuat mesin pencari memiliki banyak sekali pilihan situs yang membahas satu topik yang sama. Hal ini terjadi bukan hanya pada surface web melainkan juga kategori web lainnya seperti dark web. Dengan banyaknya pilihan situs web yang bisa di akses oleh mesin pencari, tentunya optimasi hasil pencarian sangat dibutuhkan.
Untuk mengatasi permasalahan ini, tepatnya pada dark web, algoritma crawling yang optimal dibutuhkan untuk terus memperbaharui kinerja mesin pencari sehingga bisa menampilkan halaman situs yang paling relevan di antara banyaknya halaman situs yang tersedia. Maka pada penelitian ini akan digunakan metode in-depth web crawling, yang akan coba diimplementasikan pada dark web.
Metode ini diharapkan dapat berjalan pada dark web sehingga dapat mengumpulkan database yang berupa kumpulan URL dari situs-situs pada dark web. Dan mengingat metode ini lancar dijalankan pada surface web, harusnya implementasi metode ini pada dark web tidak akan mengalami kesulitan dan hanya membutuhkan sedikit perantara.