Mouse adalah alat yang paling umum digunakan untuk mengendalikan komputer. Terinspirasi dari cara kerja mouse, maka penulis mencoba membangun aplikasi untuk mengendalikan komputer dengan memanfaatkan isyarat tangan yang ditangkap oleh kamera pada video.
Untuk memenuhi hal tersebut, perlu ada mekanisme untuk menemukan objek tangan pada setiap frame, proses ini dilakukan oleh Haar Cascade sebagai detektor objek tangan, dan selanjutnya objek yang terdeteksi akan di-tracking dengan metode template matching.
Objek tangan yang berhasil terdeteksi, diklasifikasi untuk menentukan isyarat yang diperagakan oleh pengguna. Aplikasi akan menerjemahkan isyarat tangan yang dikombinasikan dengan lokasi deteksi menjadi sebuah instruksi mouse komputer. Proses klasifikasi dilakukan dengan metode Contour Flexibility dengan inputdari hasil ekstraksi kontur dari objek tangan.
Aplikasi ini memanfaatkan dimensi warna LUV untuk menjalankan segmentesi warna kulit dan membuat masking pada proses deteksi ataupun tracking. Dari segi kecepatan, aplikasi ini mampu berjalan dengan frame rate 8 FPS. Dari segi akurasi, aplikasi ini mampu mencapai akurasi keseluruhan proses sampai 96% untuk best case ketika beroperasi pada background polos berwarna kuning. Sedangkan worst casenya, pada kondisi backlight dengan background langit, akurasi keseluruhan dapat turun sampai 0%. Hal ini disebabkan tidak sempurnanya ekstraksi kontur.
Deteksi, Tracking, Klasifikasi berbasis Kontur