Komunikasi adalah salah satu hal terpenting bagi kehidupan manusia. Terutama untuk tuna rungu, mereka memiliki keterbatasan dalam berkomunikasi dengan orang lain. Mereka dapat berkomunikasi dengan menggunakan bahasa isyarat. Sistem pengenalan bahasa isyarat dibutuhkan sebagai sarana komunikasi bagi tunarungu dan orang yang tidak mengerti bahasa isyarat. Bentuk gerakan tangan dideteksi oleh sensor depth image dan human skeleton pada Kinect, dimodifikasi dan diterjemahkan menjadi sebuah teks. Hasil data rekaman mentah Kinect di segmentasi dan tracking hand dengan Haar Cascade dan diklasifikasi dengan metode Hiden Markov Model (HMM). Dengan kombinasi sensor depth image dan human sekeleton pada Kinect serta klasifikasi metode HMM tingkat akurasi pengenalan bahasa isyarat dapat mencapai 82% dan rata-rata waktu komputasi sebesar 1.98 detik.