ABSTRAKSI: Mengevaluasi ringkasan merupakan salah satu permasalahan yang penting dalam perkembangan Automatic Text Summarization (ATS). Evaluasi ini merupakan suatu proses yang bertujuan untuk menilai suatu sistem peringkas teks otomatis yang dilihat dari hasil atau keluaran suatu sistem peringkas teks otomatis tersebut.
Pada Tugas Akhir ini diimplementasikan pengembangan variasi metoda ROUGE (Recall-Oriented Understudy for Gisting Evaluation) yang merupakan metoda untuk mengevaluasi sistem peringkasan teks otomatis (ATS), yaitu ROUGE-NW yang merupakan penggabungan dari metode ROUGE-1(n-gram 1) dengan metode ROUGE-W. ROUGE merupakan suatu teknik evaluasi yang digunakan untuk menentukan kualitas dari sebuah ringkasan secara otomatis dengan cara membandingkan ringkasan yang dihasilkan oleh ATS dengan ringkasan (ideal) lain yang dibuat oleh manusia [5]. Selain itu, sebagai pembanding diterapkan juga metode asli ROUGE yaitu ROUGE-1, ROUGE-2, dan ROUGE-W.
Pengujian dilakukan dengan melihat korelasi atau keterhubungan score yang dihasilkan oleh masing-masing metode ROUGE dengan penilaian yang dihasilkan oleh manusia(human judgement). Hasil pengujian menunjukkan bahwa perhitungan score ROUGE-2 dan ROUGE-NW cenderung memiliki korelasi yang lebih tinggi dengan penilaian manusia dibandingkan dengan metode ROUGE-1 dan ROUGE-W.
Kata Kunci : evaluasi, metode ROUGE, n-gram(s), korelasiABSTRACT: Evaluation of summaries is an important problem in development of automatic text summarization (ATS). Evaluation is a process that purpose to assess a automatic text summarization based on its output.
In this assignment implemented method variation ROUGE (Recall-Oriented Understudy for Gisting Evaluation) which is a method for evaluating automatic Text Summarization system (ATS), that is method of ROUGE-NW representing merger of method of ROUGE-1(N-GRAM 1) with method of ROUGE-W. ROUGE is an evaluation technique used to determine the quality of an automatic summary by comparing the summary produced by the ATS with another summary (ideal) created by human[5]. Moreover, as comparator applied also original method of ROUGE that is ROUGE-1, ROUGE-2, and ROUGE-W.
Evaluation is done by looking at the correlation or the association of score generated by each assessment method ROUGE with the produced by human (human judgment). The result of this experiment shows that the computation of ROUGE-2 and ROUGE-NW has more correlation with human judgment rather than ROUGE-1 and ROUGE-W.
Keyword: evaluation, ROUGE method, n-gram(s), correlation