Baja merupakan salah satu material yang banyak digunakan dalam industri. Penggunaan material seperti baja biasa akan diproses secara otomatis menggunakan mesin. Selama proses produksi tidak akan lepas dari kerusakan secara fisik, seperti goresan, retakan, dam lubang. Kecacatan pada proses produksi mencapai 47% yang akan berdampak buruk pada kualitas produk yang dihasilkan. Pada Tugas Akhir dirancang sebuah sistem yang dapat mendeteksi cacat pada baja menggunakan metode Augmentasi Data yang berbasis Convolution Neural Network (CNN). Model CNN pada sistem dibangun menggunakan arsitektur Cascade R-CNN. Augmentasi Data yang dipakai pada Tugas Akhir terdapat tiga macam transformasi, yaitu random shadow, hue saturation value, dan random gamma yang akan mendeteksi 6 jenis cacat yang diambil dari dataset NEU DET, yaitu rolled-in scale, patches, crazing, pitted surface, inclusion, dan scratches. Data berupa citra digital yang didapatkan dari dataset NEU-DET yang berjumlah 1800 citra, dengan masing – masing jenis cacat memiliki 300 citra. Hasil simulasi dan analisis pada Tugas Akhir ini menunjukan bahwa Sistem dapat mendetaksi 6 jenis cacat menggunakan Augmentasi Data berbasis CNN. Sistem yang diuji tanpa menggunakan Augmentasi Data mencapai nilai mean average precision (mAP) sebesar 76.8% dalam mendeteksi cacat pada permukaan baja. Sedangkan sistem yang diuji menggunakan 3 Augmentasi Data mencapai nilai mean average precision (mAP), yaitu Random Shadow sebesar 76.9%, Hue Saturation Value sebesar 76.5%, dan Random Gamma sebesar 76.1%. Dapat dilihat nilai mean everage precision (mAP) menggunakan Augmentasi Data didapatkan hasil tertinggi sebesar 76.9%, sementara tanpa augmentasi sebesar 76.8. Uji coba menunjukkan bahwa meskipun augmentasi data dapat memberikan peningkatan kecil terhadap akurasi, efektivitasnya masih terbatas karena ketidak cocokan augmentasi saat digunakan untuk mendeteksi semua jenis cacat pada permukaan baja.