Bahasa isyarat adalah alat komunikasi utama untuk teman tuli. Namun, pemahaman yang terbatas dari masyarakat tentang bahasa isyarat sering kali menghalangi komunikasi yang efektif. Penelitian ini bertujuan untuk menciptakan sistem yang dapat mendeteksi gerakan tangan dalam Bahasa Isyarat Indonesia dengan memanfaatkan model deep learning yang berbasis pada Convolutional Neural Network (CNN). Sistem ini dirancang untuk mengidentifikasi 26 huruf dari alfabet serta angka dalam Bahasa Isyarat Indonesia dengan tingkat akurasi antara 93% hingga 96% untuk huruf dan angka, serta 90% hingga 94% untuk istilah umum. Di samping itu, model ini diharapkan juga dapat mengenali 5 kata dasar seperti: saya, kamu, dia, makan, dan tidur, guna meningkatkan efisiensi komunikasi.
Sistem ini diimplementasikan menggunakan bahasa pemrograman Python serta frame work TensorFlow. Beberapa pustaka tambahan yang digunakan mencakup OpenCV -Python, MediaPipe , scikit-learn, seaborn, dan numpy untuk mendukung pengolahan citra, ekstraksi fitur, dan pelatihan model. Dataset dalam penelitian ini dikumpulkan secara mandiri menggunakan kamera bawaan laptop. Seluruh hasil perekaman disimpan dalam format basis data .h5. Proses anotasi dan pengolahan data dibantu oleh Roboflow, yang digunakan pada tahap pelabelan serta validasi dataset.
Perangkat keras yang digunakan dalam penelitian ini berupa laptop yang memiliki GPU dan kamera internal (webcam) untuk pengambilan data serta pengujian sistem. Berdasarkan hasil pengujian, sistem mampu bekerja secara real-time secara terpisah dengan tingkat akurasi 100% untuk huruf A–Z, angka 0–9, dan lima kata dasar (“saya”, “kamu”, “dia”, “makan”, dan “tidur”). Saat diuji dalam mode gabungan huruf, angka, dan kata dijalankan sekaligus, dengan akurasi mencapai ±97%. Hasil akhir diambil dari prediksi dengan nilai confidence tertinggi. sistem tetap dapat bekerja dengan baik, meskipun sesekali terjadi kesalahan akibat kemiripan bentuk Gerakan. Secara keseluruhan sistem ini dapat digunakan untuk membantu menerjemah bahasa isyarat secara otomatis, sehingga mempermudah komunikasi dengan teman tuli dan masyarakat.