Valvular Heart Disease (VHD) adalah penyakit jantung yang mematikan didunia. Pada penelitian beberapa tahun terakhir banyak yang mengajukan metode untuk deteksi VHD dengan sinyal phonocardiogram (PCG) berupa suara jantung dengan machine learning tradisional, tetapi tidak memiliki akurasi, sensitivitas yang diinginkan. Oleh karena itu, tantangan yang ada saat ini adalah mengembangkan pendekatan yang lebih efektif untuk identifikasi VHD. Untuk mengatasi keterbatasan ini, penelitian kami menggunakan Deep learning yang dirancang secara tepat untuk identifikasi VHD melalui analisis sinyal PCG. Kami mengeksplorasi tiga algoritma deep learning yaitu Convolutional Neural Network (CNN), Long Short-Term Memory (LSTM), dan Recurrent Neural Network (RNN) untuk klasifikasi VHD. Untuk menilai robusness, penelitian kami memperkenalkan Valvular Heart Monitoring System (VAMIS), sebuah prototipe yang didasarkan pada model deep learning, untuk evaluasi kinerja menyeluruh. VAMIS dapat membedakan berbagai jenis VHD, termasuk Aortic Stenosis, Mitral Regurgitation, Mitral Valve Prolapse, Mitral Stenosis, dan kondisi Normal. Eksperimen dilakukan dalam dua skenario: satu tanpa penyetelan parameter dan satu lagi dengan penyetelan parameter untuk model deep learning. Hasilnya menunjukkan RNN Fine-tuning sebagai model terbaik, mencapai akurasi yang mengesankan sebesar 99,60%, presisi 99,04%, sensitivitas 99,00%, spesifisitas 99,74%, dan F1-score 98,99%. Lebih lanjut, evaluasi prototipe VAMIS menunjukkan robusness pada model deep learning, dengan gap akurasi sebesar 0,05%.