Sistem verifikasi suara merupakan salah satu sistem yang telah mengalami banyak perkembangan dan banyak dite-rapkan di berbagai bidang sebagai pendeteksi identitas seseorang pada saat ini. Sistem ini juga telah dikembangkan sehingga dapat mengenali identitas seseorang dengan mendeteksi energi sinyal suara yang dikeluarkan oleh seseo-rang dan tidak terpacu pada suatu teks tertentu. Namun demikian, belum banyak pembahasan yang berfokus pada relevansi hasil output pada sistem tersebut. Pada penelitian ini, penulis melakukan implementasi terhadap sistem verifikasi suara tersebut dengan menggunakan metode support vector machine (SVM) pada berbagai tingkat noise dan kemudian menggunakan teknik perhitungan confusion matrix untuk menghitung akurasi data serta menghi-tung precision dan recall untuk menentukan relevansi hasil output pada sistem tersebut. Hasil pengujian sistem menyatakan bahwa untuk tingkat noise pada 0dB didapatkan rata - rata akurasi 70,92 persen dan secara berurutan nilai rata - rata precision dan recall untuk noise 0dB adalah 74,68 persen dan 83,5 persen.