ABSTRAKSI: Augmented Reality (AR) menyediakan paradigma baru dalam dunia Human-Computer Interaction (HCI) dimana objek virtual dan nyata dapat dileburkan dalam satu antarmuka yang sama. Perkembangan HCI dalam Augmented Reality diimplementasikan dalam bentuk penggunaan alat seperti contohnya adalah Head Mounted Display (HMD). Dalam lingkungan AR, teknik interaksi yang digunakan harus sesuai dengan perkembangan HCI yang membutuhkan kemampuan interaksi yang intuitif, low cost, natural namun juga efektif. Penggunaan tangan dalam HCI untuk dapat berinteraksi dengan objek virtual merupakan salah satu kajian riset beberapa tahun belakangan ini. Agar tangan dapat berinteraksi dengan objek virtual maka proses hand tracking dilakukan agar dapat mengenali dan mengidentifikasi dimana posisi tangan berada.
Pada tugas akhir dikembangkan sebuah aplikasi yang dapat menangkap pergerakan tangan menggunakan algoritma CAMShift dan Kalman Filter. Algoritma CAMShift merupakan algoritma penelusuran objek yang menggunakan probabilitas warna sebagai dasar untuk menelusuri objek. Sedangkan Kalman Filter merupakan estimator rekursif, yang membutuhkan state sebelumnya dan pengukuran sekarang untuk mengestimasi state sekarang.
Hasil – hasil penesuluran tangan kemudian diterjemahkan menjadi event – event seperti object dragged, object released, yang kemudian diterjemahkan menjadi perintah, sebagai bentuk interaksi antara tangan dan objek virtual.Kata Kunci : Kalman Filter, CAMShift, Hand Tracking, Augmented Reality, hand interactionABSTRACT: Augmented Reality (AR) provides a new paradigm for human-computer interaction (HCI) in which virtual and real objects can be fused in the user interface. The HCI development in Augmented Reality is implemented in form of the device, example : Head Mounted Display (HMD). In AR environment, the interaction techniques that are used should conform to HCI development that requires an intuitive interaction capabilities, low cost, natural but also effective. The use of hands in the HCI to be able to interact with virtual objects is one of the research issues in recent years. So that the hand can interact with virtual objects then the process of hand tracking done in order to recognize and identify where the hands are.
This final project, developed an application that can capture the movement of the hand using the CAMShift algorithm and the Kalman Filter. CAMShift tracking algorithm is an algorithm that uses the probability of the color of objects as the basis for tracing the object. While the Kalman filter is a recursive estimator, which requires a previous state and current measurements to estimate the state now.
Then the hand tracking results is translated into an events such as object dragged, released object, the object down is then translated to the command, as a form of interaction between hand and virtual objects.Keyword: Kalman Filter, CAMShift, Hand Tracking, Augmented Reality, hand interaction