Proyek akhir ini menyoroti masalah yang mencolok di dalam teman tuli yaitu hambatan komunikasi yang dihadapi oleh teman tuli dengan teman dengar, karena ketidakmampuan dengar, mereka menggunakan bahasa isyarat untuk berkomunikasi. Bentuk komunikasi ini sering kali menyebabkan tantangan besar dalam interaksi mereka dengan populasi pendengar. Untuk mengatasi masalah ini, kami mengusulkan solusi yang tangguh berupa aplikasi yang tidak hanya berfungsi sebagai alat bantu dalam pembelajaran bahasa isyarat SIBI bagi pendengar, tetapi juga sebagai penerjemah bahasa isyarat.
Solusi yang diusulkan ini memanfaatkan beberapa bidang dalam Teknik Komputer untuk menciptakan aplikasi yang integratif. Dengan menerapkan teknik deep learning LSTM dan YOLOv5, sistem akan mengenali dan mengartikan bahasa isyarat SIBI. Selain itu, melalui pengembangan aplikasi Android. Pengembangan Backend memastikan operasi aplikasi yang andal dan efisien, menjadi tulang punggung kritis dari sistem.
Produk akhir dari Capstone Design ini adalah berupa aplikasi dengan fitur deep learning LSTM untuk fitur deteksi motion dengan akurasi 95.56%, YOLOv5 untuk deteksi realtime memiliki mAP@0.5IoU 99.5%, LSTM untuk Text-Correction 92,5%. Kemudian animasi gerakan SIBI untuk fitur pembelajaran, dan implementasi ke Android melalui backend. Pada tes reliabilitas aplikasi ditemukan bahwa nilai r_11 adalah 0,914428422. Oleh karena itu, dapat disimpulkan bahwa pengujian ini memiliki tingkat reliabilitas yang sangat tinggi. Respon waktu dalam hasil tes server juga menunjukan dikisaran 1-5 detik dan memory usage rata-rata 130mb.