Augmented Reality (AR) adalah teknologi dengan konsep menggabungkan dimensi dunia nyata dengan dunia virtual secara realtime. Marker-based AR merupakan jenis AR yang memungkinkan objek virtual ditampilkan ke dalam dunia nyata dengan digunakannya marker. Penggunaan AR berbasis marker memerlukan metode deteksi objek yang digunakan untuk tracking marker. Penelitian sebelumnya melakukan tracking marker berbasis deteksi warna sehingga membuat pergerakan pointer-nya kacau jika warna marker menyamai dengan warna background sekitar. Dalam Tugas Akhir ini dirancang sebuah sistem yang dapat mendeteksi objek berupa ujung jari dengan metode Faster Region-Based Convolutional Neural Network (Faster R-CNN). Faster R-CNN merupakan gabungan dari metode Fast -RCNN dan Region Proposal Network (RPN). Hasil dari parameter deteksi akan digunakan untuk proses tracking, yaitu koordinat x, y, width, dan length. Arsitektur pre-trained CNN yang digunakan adalah ResNet. Konfigurasi sistem yang digunakan untuk pengujian adalah skema padding, stride dan step training. Proses pengujian diambil dari video yang telah dilakukan proses sampling yang terdiri dari 10.800 data latih dan 3.600 data uji. Dalam Tugas Akhir ini, konfigurasi sistem terbaik berdasarkan prioritas parameter untuk teknologi AR didapatkan pada skema stride 8-2-2-1-1 dan same-padding dengan nilai akurasi sebesar 99,74%, IoU 0,842 dan presisi 3,18. Frame rate yang didapatkan dengan menggunakan konfigurasi terbaik adalah 7,98 FPS.