Klasifikasi gender merupakan salah satu masalah di computer vision, klasifikasi gender juga makin banyak digunakan di aplikasi sejak meningkatnya pengguna media sosial. Tetapi metode-metode sebelumnya menggunakan dataset yang besar. Oleh karena itu, digunakan metode pembelajaran dengan dataset yang sedikit untuk mengetahui seberapa mampu dataset yang digunakan untuk mengatasi masalah ini. Pada penelitian ini digunakan arsitektur Convolutional Neural Networks (CNN) yang sederhana yang dapat digunakan untuk data berjumlah sedikit yang diuji pada dataset UTKFace. Sistem yang dibangun mampu menghasilkan akurasi sebesar 67.66% pada arsitektur yang dilatih dengan dataset lab multimedia, sedangkan pada arsitektur yang dilatih dengan dataset Adience menghasilkan akurasi 49.12%. Hasil ini membuktikan bahwa model dengan dataset Lab Multimedia mengungguli model arsitektur sebelumnya.