Dengan semakin cepatnya perkembangan teknologi dikehidupan masyarakat dan semakin canggihnya kemampuan komputasi dari suatu komputer. Perkembangan teknologi yang popular saat ini adalah bidang kecerdasan buatan atau arti?cial intelligence (AI). Salah satu cabang dari AI adalah deep learning yang merupakan bagian dari machine learning yang mampu melakukan pembelajaran lebih dalam sehingga deep learning menjadi otak utama dalam perkembangan AI dan dapat digunakan untuk object detection. Perkembangan penelitian tentang arsitektur deep learning untuk object detection dibutuhkan untuk dapat menghasilkan arsitektur yang mampu mendeteksi objek yang lebih cepat dan dilengkapi dengan sistem deteksi yang lebih efisien.
Faster regional convolutional neural network (Faster R-CNN ) adalah salah satu teknik yang memanfaatkan convolutional neural network (CCN) yang merupakan jenis dari neural network yang biasa digunakan pada data image. Faster R-CNN merupakan suatu metode dari object detection yang mampu mendeteksi suatu objek yang ditangkap oleh kamera yang nantinya akan tersimpan dalam database atau tidak, sehingga komputer dapat menyimpulkan objek yang telah kita tracking. Faster R-CNN ini menggunakan region proposal network (RPN) yang merupakan sebuah neural network yang mampu menggantikan peran selective search untuk mengurangi kebutuhan komputasi yang berlebihan dari sebuah komputer dan mampu menghasilkan performa yang lebih cepat untuk mendeteksi suatu objek berbasiskan deep learning.
Dalam Tugas Akhir ini dirancang sebuah sistem yang dapat mendeteksi objek beberapa gesture telapak tangan dengan metode Faster R-CNN. Arsitektur pre-trained CNN yang digunakan adalah ResNet50. Hasil dari penelitian ini mampu memperoleh tingkat mAP melebihi 90% dengan hyperparameter learning rate, batch size, dan step training.