Bahasa Isyarat biasanya digunakan oleh penyandang disabilitas tunarungu untuk berkomunikasi dengan orang lain. Bahasa isyarat merupakan gerak yang menggunakan bagian tubuh seperti tangan untuk menyampaikan informasi. Permasalahan yang sering terjadi dalam komunikasi menggunakan bahasa isyarat adalah ketika orang belum mengerti berkomunikasi dengan penyandang disabilitas tunarungu.
Penelitian ini membuat simulasi penerjemah SIBI (Sistem Isyarat Bahasa Indonesia) secara realtime dan non-realtime. Ada beberapa hal yang diperlukan dalam penelitian ini yaitu dengan adanya Open CV (akses kamera untuk deteksi objek), tensorflow object detection sebagai framework model pelatihan dan algoritma Mobile Neural Network merupakan CNN yang dimodifikasi cocok untuk portabel. Langkah awal untuk memulai penelitian ini yaitu membuat dataset (kumpulan gambar bahasa isyarat) total 1200 gambar untuk 6 kelas hururf (A, B, C, D, E, dan F). Kemudian dataset dipisahkan untuk pelatihan 90% dan evaluasi 10%. Setiap gambar dataset diberi kotak pembatas dan nama kelas. Dataset direpesentasikan dengan tensorflow record. Setelah itu membuat label map untuk kategori index. Lalu membuat jalur untuk pelatihan. Kemudian mempersiapkan tensorflow object detection sebagai framework dan mepersiapkan model pelatihan yaitu SSD MobileNet V2. Dataset dilatih dengan 3 skema yaitu 10.000 step untuk skema 1. 20.000 step untuk skema 2. 30.000 step untuk skema 3. Setelah dilatih model akan dievaluasi untuk membangun model predeksi deteksi. Terakhir membuat program deteksi secara realtime dan non-realtime.
Dalam penelitian ini hasil yang dicapai bahwa simulasi berkerja dengan baik. Rata-rata tingkat klasifikasi realtime 91% dan tingkat klasifikasi non-realtime 60%. Berdasarkan hasil pelatihan dan evaluasi untuk semua skema menghasilkan rata-rata learning rate 0,068, rata-rata total loss 0,32, rata-rata loss localization 0,067, rata-rata loss classification 0,13, mAP 0,75, dan mAR 0,78.
Kata Kunci: SIBI, Deteksi Objek, Tuna Rungu, Tensorflow, SSD MobileNet V2, CNN, Mobile Neural Network.