Pengembangan teknologi rumah pintar semakin berkembang seiring dengan perkembangan teknologi yang semakin maju. Pada tugas akhir ini, dilakukan pengembangan teknologi tentang perancangan sistem pengendalian pada rumah pintar untuk memudahkan berbagai kegiatan manusia di dalam rumah. Dalam sistem pengendalian rumah pintar, Hand Gesture Recognition berperan penting untuk interaksi manusia dengan komputer. Hand Gesture Recognition yang dibangun merupakan sebuah perintah gerakan yang diterima oleh sensor Kinect V2 dengan cara Hand tracking untuk menentukan Hand-state pada setiap gerakan. Hand-state menentukan sebuah perintah yang diinginkan, perintah tersebut dikirim oleh sistem melalui serial port dan diterima oleh Microcontroler yang dapat mengendalikan Relay untuk mengontrol sistem agar lebih efisien. Berdasarkan hasil pengujian, tingkat akurasi Hand tracking pada sistem mencapai 87% dengan jarak optimal tiga meter, dikarenakan posisi sendi pada setiap penguji berbeda-beda.