Klasifikasi jenis teh di Indonesia yang masih manual, subjektif, dan tidak konsisten mendorong pengembangan sistem klasifikasi otomatis. Penelitian ini mengusulkan sistem berbasis Computer Vision dan Deep Learning yang memadukan YOLOv8-seg untuk melokalisasi area air seduhan/ampas dan Convolutional Neural Network (CNN) untuk mengklasifikasikan teh hijau, teh hitam, dan teh putih pada citra ROI. Data citra dikumpulkan dari hasil seduhan dan ampas dengan memperhatikan karakteristik visual (warna, tekstur). Pada data uji terkontrol, modul CNN menunjukkan kinerja tinggi dengan akurasi 99,33% (air seduhan) dan 100% (ampas). Namun, pengujian sistem secara utuh pada skenario kompleks (multiobjek, variasi pencahayaan/latar) menyingkap kelemahan dimana sebagian objek tidak terdeteksi, terjadi salah label air menjadi ampas, dan klasifikasi jenis teh menjadi tidak konsisten. Temuan ini menunjukkan Tujuan pertama analisis pengaruh karakteristik visual telah tercapai, sementara Tujuan kedua pengembangan sistem klasifikasi yang andal untuk penggunaan praktis belum sepenuhnya tercapai pada skenario multiobjek dan pencahayaan bervariasi. Dengan demikian, sistem memerlukan perbaikan modul deteksi, normalisasi pencahayaan pada ROI, perluasan ragam data serta validasi YOLO terpisah sebelum siap diterapkan secara praktis.