Banyaknya jumlah transaksi penjualan online membuat terjadinya lonjakan pengguna jasa pengiriman barang. Perusahaan yang bergerak di bidang jasa pengiriman di Indonesia yang paling banyak diminati oleh masyarakat adalah JNE dan JNT Express. Saat ini, JNE dan J&T Express telah memanfaatkan banyak media komunikasi dengan pelanggannya salah satunya dengan Twitter. Jumlah followers dari JNECare adalah 174.128 dan jumlah tweets sebanyak 948.700. Untuk J&T Express dengan nama akun Twitter jntexpressid jumlah followers sebanyak 117.663 dan jumlah tweets sebanyak 74.500. Banyaknya komentar pelanggan dapat dimanfaatkan untuk melihat gambaran opini mereka tentang JNE dan J&T Express apakah komentar dominan adalah label negatif, positif atau netral.
Tugas Akhir ini dilakukan dengan melakukan analisis sentimen, dengan metode atau algoritma klasifikasi Naive Bayes. Data diambil menggunakan API Twitter. Kemudian dilakukan analisis sentimen terhadap komentar, tahapan untuk melakukan analisis sentimen pada penelitian ini adalah data akan dilabel secara manual satu persatu, kemudian melakukan proses preprocessing. Proses pertama dari preprocessing adalah case folding, pada proses ini semua huruf akan diubah menjadi huruf kecil, dan menghapus karakter yang tidak penting seperti tanda baca, angka dan emoji, proses kedua tokenization yaitu memecahkan kata perkata, proses ketiga stopword removal yaitu proses penghapusan kata yang tidak memiliki makna dan proses terakhir yaitu stemming proses menghilangkan kata imbuhan yang tercantum pada kata tertentu. Kemudian melakukan ekstraksi fitur, lalu masuk ke tahapan klasifikasi, data akan diklasifikasi menggunakan metode Naïve Bayes.
Data akan dibagi dua 75% data training dan 25% data testing. Kemudian melakukan evaluasi dengan confusion matrix. Untuk JNE didapatkan hasil akurasi 79%, precision 80%, recall 79%, dan f1-score 79%. Kemudian untuk J&T Express didapatkan hasil akurasi 76%, precision 76%, recall 76%, dan f1-score 76%. Pada penelitian ini, menerapkan k-fold cross validation dan menghasilkan skor untuk ekspedisi JNE sebesar 76% dan untuk ekspedisi J&T Express sebesar 75% dari persentase yang diperoleh maka model masuk ke dalam klasifikasi cukup baik.