Penelitian ini merancang sistem untuk mengestimasi ukuran buah melon menggunakan metode Computer Vision. Produksi buah melon yang tinggi memerlukan informasi akurat tentang ukuran sebelum panen guna memaksimalkan hasil. Sistem ini mengembangkan model dengan teknik Mask R-CNN sebagai data pelatihan dan mengukur kontur objek untuk mengestimasi ukuran dan berat buah melon. Data dikumpulkan dari Puspalebo Sidoarjo dan Rooftop Telkom University. Hasil pelatihan menunjukkan waktu 24 menit untuk satu kali pelatihan dengan menggunakan 39 citra buah melon, validasi dengan 4 gambar dengan nilai kepercayaan rata-rata di atas 90%, dan pengujian dengan 6 gambar dengan nilai kepercayaan di atas 90%. Evaluasi menunjukkan nilai AP sebesar 84 untuk pengujian estimasi citra buah melon yang diambil dengan jarak 70 cm dari kamera, dengan akurasi diameter 93%, panjang 93%, volume 82%, dan massa 78%. Sistem Computer Vision ini diharapkan dapat membantu efisiensi manajemen pertanian.