ABSTRAKSI: Mengevaluasi terjemahan merupakan permasalahan yang penting dalam perkembangan sistem mesin penterjemah atau Machine Translation. Evaluasi ini merupakan suatu proses yang bertujuan untuk menilai suatu sistem mesin penterjemah yang dilihat dari hasil atau keluaran suatu sistem mesin penterjemah teks tersebut.
Pada Tugas Akhir ini diimplementasikan metoda BLEU (BiLingual Evaluation Understudy) yang merupakan metoda untuk mengevaluasi sistem mesin penterjemah (MT) yang berbasis presisi yang dimodifikasi (modified n-gram(s) precision). Ide dari metoda BLEU ini adalah untuk membandingkan n-gram(s) terjemahan keluaran dari suatu MT (kandidat) dengan n-gram(s) terjemahan lain yang dibuat oleh manusia dan menghitung jumlah n-gram(s) yang cocok. Makin banyak yang cocok, maka terjemahan kandidat semakin bagus dan score yang dihasilkan dari evaluasi dengan metoda BLEU ini semakin tinggi. Selain itu, diterapkan juga pengembangan metoda BLEU ini dengan konsep Information Extraction yaitu dengan dengan teknik pembobotan.
Pengujian dilakukan dengan melihat korelasi atau keterhubungan score yang dihasilkan dengan penilaian manusia (human judgement). Hasil pengujian menunjukkan bahwa perhitungan score BLEU dengan pembobotan memiliki korelasi yang lebih besar dengan penilaian manusia daripada metoda BLEU dasar.
Kata Kunci : evaluasi, metoda BLEU, kecocokan n-gram(s), modified n-gram precision, pembobotan, korelasiABSTRACT: Evaluation of machine translation is an important problem in machine translation development. Evaluation is a process that purpose to assess a machine translation based on its output.
This final assignment implements BLEU (BiLingual Evaluation Understudy) method for evaluating machine translation (MT) system that based on modified n-gram precision computation. The basic idea in calculation of this metric is to compare n-gram(s) of the candidate with the n-gram(s) of the reference translation and count the number of matches. The more matches, the better candidate translation is. Moreover, this final assignmet also implements the modification of BLEU method with Information Extraction concept that used weighting model.
Evaluating is done by looking up the correlation or the association of score that produce by human (human judgement). The result of this experiment shows that the computation of BLEU weighting method has more correlation with human judgement rather than the baseline of BLEU.
Keyword: evaluation, BLEU method, N-gram(s) Co-occurance, modified n-gram(s) precision, weighting, correlation