Dengan berkembangnya sosial media terutama yang memiliki fitur untuk mengunggah foto dan gambar menyebabkan banyaknya gambar yang diunggah pada sosial media. Gambar tersebut dapat digunakan untuk membangun sistem pencarian gambar berbasis isi atau content-base image retrieval. Namun, banyak gambar yang diunggah tidak diberikan label atau tag sesuai dengan isi dari citra yang diunggah, sehingga sangat sulit untuk dikelola. Untuk dapat mewujudkan sistem pencarian gambar berbasis isi maka setiap obyek pada gambar harus dikenali terlebih dahulu. Jika pengenalan obyek tersebut dilakukan secara manual maka akan sangat sulit karena akan memakan waktu yang lama dan makna dari setiap orang terhadap suatu gambar berbeda, yang menimbulkan pengenalan obyek yang subyektif. Oleh karena itu dibangunlah sistem penganotasian gambar secara otomatis. Dalam penelitian ini diajukan sebuah metode Convolutional Neural Network untuk menangani sistem penganotasian gambar multilabel. metode Convolutional Neural Network telah terbukti memiliki performansi yang baik pada kasus klasifikasi gambar, ditunjukkan dengan performansi pada kasus klasifikasi gambar pada ILSVRC yang semakin membaik setiap tahunnya. Performansi tertinggi terhadap data uji pada penelitian ini adalah 81.24%.
Kata kunci : Convolutional Neural Network, Image annotation, multilabel