Augmented Reality (AR) merupakan teknologi yang menggabungkan dunia nyata dengan dunia virtual dan menampilkannya dalam bentuk 3D. AR memiliki karakteristik tertentu, salah satunya dapat bersifat interaktif secara real-time. AR dalam penggunaannya terbagi dalam 2 jenis, yaitu AR berbasis marker dan AR berbasis markerless. Penelitian ini merancang sistem AR dengan punggung jari telunjuk sebagai marker. Sistem dirancang untuk melakukan tracking-by-detection pada marker untuk digunakan sebagai pointer dalam penggunaan komputer yang ditampilkan melalui proyektor secara real-time.
Metode You Only Look Once (YOLO) digunakan pada perancangan sistem karena cocok untuk penggunaan deteksi objek secara real-time. Penelitian ini menggunakan arsitektur YOLO9000 yang telah dilatih pada PASCAL VOC dengan 20 class kemudian dilakukan transfer learning menjadi 1 class. Sistem dirancang dengan software Python dan library utama yaitu TensorFlow.
Konfigurasi sistem diuji menggunakan step training, batch size dan learning rate. Penelitian ini menganalisis parameter performansi, yaitu akurasi, Intersection of Union (IoU) dan presisi. Sistematika dataset berupa 10.800 citra data latih dan 3.600 citra data uji. Dalam penelitian ini digunakan total 27 variansi konfigurasi. Konfigurasi terbaik yang didapatkan adalah learning rate 0.00002, batch size 12 pada step 5K. Akurasi yang didapat sebesar 97,739%, IoU 0,724 dan presisi 3,597. Frame rate yang didapatkan dengan menggunakan konfigurasi terbaik adalah 20,1 Frame Per Second (FPS).