Algoritma penentu rute yang ada pada umumnya hanya mempertimbangkan jarak dan waktu tempuh tanpa memperhatikan kondisi fisik jalan seperti pothole, crack and rutting. Penelitian ini mengusulkan model integrasi hasil segmentasi citra kerusakan jalan ke dalam algoritma penentuan rute dengan pendekatan berbasis U-Net dan DeepLabV3+ serta algortima A* untuk menghasilkan sistem penentuan rute yang mempertimbangkan kondisi infrastruktur jalan. Metodologi integrasi dilakukan dengan menghubungkan segementasi U-Net dan DeepLabV3+ dengan algorithm A* melalui mekanisme weight map berdasarkan kondisi kerusakan jalan. Hasil dari multiclass segmentation dikonversi menjadi weight map yang merepresentasikan tingkat keparahan kerusakan jalan ke nilai biaya pinalti dalam pembobotan penilaian sebagai komponen dasar perhitungan algoritma A*. Penerapan Unified Focal Loss dalam mendeteksi kerusakan jalan untuk mengatasi class imbalance extrem (ratio 178:1). Model dilatih pada dataset 5.851 citra jalan 256x256, U-Net menunjukan Mean F1-Score sebesar 0,46 and Mean IoU sebesar 0,37dan DeepLabV3+ menghasilkan Mean F1-Score 0,7239 dan Mean IoU 0,6042 pada kondisi distribusi kelas yang sangat tidak seimbang (background 96,91%, damaged 3,09%). Penelitian ini memberikan landasan metodologis awal untuk pengembangan sistem navigasi kontekstual dengan mempertimbangkan kondisi infrastruktur jalan.