Pengenalan karakter tulisan tangan aksara Sunda merupakan bagian dari upaya pelestarian aksara daerah Indonesia, dimana permasalahan pengenalan karakter tulisan tangan dapat diselesaikan menggunakan deep learning. Penelitian sebelumnya menyatakan bahwa deep learning dapat mengenali karakter tulisan tangan lebih baik daripada Optical Character Recognition (OCR) tradisional. Salah satu metode deep learning yang populer di kalangan peneliti adalah Convolutional Neural Network (CNN) karena performanya yang baik dalam permasalahan visi komputer. Optimasi arsitektur CNN telah menjadi metode state-of-the-art dalam pengenalan karakter tulisan tangan. Fungsi aktivasi merupakan salah satu hal yang dioptimasi untuk mendapatkan hasil terbaik pada masalah pengenalan karakter tulisan tangan yang berbeda. Dalam penelitian ini, kami mengusulkan penggunaan fungsi aktivasi untuk dilakukan optimasi yaitu Optimized Leaky Rectified Linear Unit (OLReLU), serta Randomized Leaky ReLU (RLReLU) dan fungsi aktivasi dasar yaitu Rectified Linear Unit (ReLU) dan Leaky ReLU, untuk pengenalan tulisan tangan aksara Sunda. Hasil menunjukkan bahwa penggunaan OLReLU dan RLReLU dapat memberikan performa yang lebih baik pada data validasi dibandingkan dengan ReLU dan Leaky ReLU, dengan skor F1 mencapai 93% dan 92% untuk OLReLU dan 91% untuk RLReLU. Untuk prediksi, OLReLU mencapai akurasi 97% dan 98% pada data uji. Dapat disimpulkan bahwa penggunaan fungsi aktivasi yang dioptimasi seperti OLReLU atau RLReLU dalam arsitektur CNN dapat memberikan performa yang lebih baik dibandingkan dengan fungsi aktivasi ReLU standar dalam pengenalan karakter tulisan tangan aksara Sunda