Tersedianya citra dalam jumlah yang cukup banyak menyebabkan dibutuhkannya sistem untuk mengorganisasikan citra sesuai dengan kategori tertentu untuk memudahkan user untuk mencari citra yang dibutuhkan. Pencarian citra menggunakan teks saat ini masih kurang efektif karena pemberian teks terhadap citra oleh masing-masing orang masih terlalu subyektif dan memakan waktu yang cukup lama. Pencarian dengan menggunakan citra sebagai query menggunakan fitur yang terdapat pada citra juga masih kurang efektif karena membutuhkan citra sebagai query dan hasilnya masing kurang sesuai. Sistem Automatic Image Annotation merupakan sistem yang dapat mengatasi kekurangan yang tedapat pada pencarian citra menggunakan teks dan pencarian citra menggunakan citra query, dengan cara memberikan anotasi secara otomatis terhadap citra menggunakan fitur yang terdapat pada citra. Dalam penelitian tugas akhir ini, akan dibangun sebuah sistem Automatic Image Annotation menggunakan metode ekstraksi ciri Speeded Up Robust Feature (SURF) dan metode klasifikasi Support Vector Machine (SVM) menggunakan Bag-of-Visual-Words. Dari hasil pengujian, akurasi tertinggi didapat menggunakan nilai threshold 0, jumlah klaster 500, dan menggunakan jenis SVM one-against-all dengan hasil F1 Score rata-rata sebesar 0,9001.
Kata kunci : Automatic Image Annotation, SURF, SVM, visual words.