Semakin tingginya kebutuhan manusia terhadap sistem keamanan berbasis tracking yang dapat bekerja secara otomatis, membuat bermunculan metode dan teknik baru guna memenuhi kebutuhan tersebut. Sebagai contohnya adalah bermunculan berbagai macam metode dalam hal ektraksi ciri. Pada object tracking, ekstraksi ciri menjadi salah satu tugas utama dalam melacak sebuah objek dimana ciri yang digunakan harus tahan terhadap berbagai kondisi karena objek selalu bergerak bebas dalam video. Oleh karena itu, ektraksi ciri yang tahan terhadap segala bentuk transformasi atau fully invariant sangat dibutuhkan pada object tracking. Salah satu metode ekstraksi ciri yang fully invariant adalah metode affine scale invariant feature transform (ASIFT). Pada tugas akhir ini, penulis akan menggunakan metode ASIFT dan Mean Shift pada object tracking untuk membuat sebuah sistem yang dapat melacak objek pada berbagai kondisi objek. Sistem awalnya akan diberi inputan berupa gambar dan video yang keduanya akan diproses mulai dari preprocessing sampai dengan proses tracking. Hasil penelitian menunjukkan bahwa kondisi lingkungan objek berpengaruh terhadap banyaknya kemungkinan objek terdeteksi dengan tepat. Kondisi lingkungan terkontrol cenderung memiliki hasil yang lebih baik dari lingkungan yang tidak terkontrol. Selain itu, nilai threshold dan radius yang digunakan juga sangat mempengaruhi hasil matching objek. Berdasarkan penelitian, threshold dengan nilai 0.9 dan radius 10 % memiliki kecenderungan dapat mendeteksi objek dengan tepat. Hasil penelitian juga menunjukkan bahwa metode ASIFT-Mean Shift dapat mengatasi permasalahan perubahan point of view yang terjadi pada objek dengan akurasi 30%.