Perkembangan teknologi semakin beragam seiring bertambahnya waktu. Salah satu teknologi yang sedang popular diteliti adalah menggabungkan dunia nyata dengan virtual secara real time dengan interaksi user secara langsung dan menampilkannya dalam bentuk 3D. Teknologi ini dikenal sebagai Augmented reality (AR). Teknologi AR ini memiliki dua metode yaitu dengan marker dan markerless. Salah satu metode yang digunakan pada AR marker adalah deteksi berdasarkan warna. Namun, metode tersebut memberikan hasil yang kurang maksimal dimana masih terdapat banyak noise pada hasilnya.
Pada Tugas Akhir ini dirancang sistem augmented reality berbasis marker menggunakan deteksi objek berupa jari tangan. Percobaan ini menggunakan metode Single Shot Multibox Detector (SSD) dengan arsitektur Inception sebagai pre-trained CNN, kemudian dilakukan Transfer learning dengan mengubahnya menjadi 1 kelas klasifikasi, yaitu jari tangan. Metode ini menggunakan perangkat lunak Python dan bantuan library TensorFlow. Hasil dari sistem ini adalah track dari gerak jari tangan tersebut yang dapat digunakan untuk mengganti peran pointer dalam pengoperasian komputer yang kemudian dapat ditampilkan melalui proyektor.
Penelitian ini menggunakan dataset berupa citra yang terdiri dari, 10800 data latih dan 3600 data uji. Hasil terbaik pada penelitian ini adalah akurasi sebesar 79,39% dan IoU 0,61 pada konfigurasi step training ke 25000, batch size 24, dan learning rate sebesar 0,003. Sedangkan, presisi terbaik sebesar 1,99 pada saat konfigurasi step training 25000 dengan batch size 8 dan learning rate sebesar 0,005. Hasil kecepatan FPS SSD mencapai 30,4 detik. Sehingga, SSD cocok digunakan sebagai algoritma deteksi objek secara real-time untuk teknologi AR.