Penelitian ini membahas tentang penerjemah bahasa isyarat ke teks yang mengacu ke SIBI(Sistem Isyarat Bahasa Indonesia) dengan input video. Pada penelitian ini digunakan metode invariant moment untuk ekstraksi ciri dan Support Vector Machine sebagai classifier. Proses yg dilakukan pada penelitian ini berupa tracking objek tangan dari peraga isyarat berdasarkan warna kulit yang disegmentasi menggunakan skin detection dalam ruang warna YCbCr. Setelah itu dilakukan cropping objek tangan kemudian dikonversi ke grayscale dan dicari nilai vektor moment menggunakan invariant moment. Selanjutnya 7 vektor moment yang didapat, dilatih untuk mendapatkan data latih lalu diklasifikasikan dengan Support Vector Machine(SVM).
Pengujian dari 17 kata mendapatkan akurasi sebesar 80,63%. Pengujian dilakukan dengan mengubah parameter kernel pada SVM dan hasil terbaik didapatkan dengan menggunakan kernel RBF dengan algoritma OAA dan input classifier menggunakan ciri dari 7 vektor moment.
Kata kunci : Bahasa isyarat, Invariant Moments, Support Vector Machine