ABSTRAKSI: Evaluasi mesin peringkas teks otomatis adalah proses yang dilakukan untuk menentukan kualitas dari suatu mesin peringkas teks otomatis. Proses ini menghasilkan keluaran berupa nilai yang didapat dengan cara membandingkan antara ringkasan yang dihasilkan oleh mesin peringkas teks otomatis (disebut juga sebagai ringkasan kandidat) dengan ringkasan (ideal) lain yang dibuat oleh manusia (disebut juga sebagai ringkasan referensi) yang berasal dari teks sumber yang sama.
Pada Tugas Akhir penulis mengimplementasikan pengembangan dari metode Longest Common Subsequences (LCS) dan Skip Bigram Co Occurrences Statistics (SB) dalam teknik ROUGE untuk mengevaluasi mesin peringkas teks otomatis multi-document. Dimana pengembangan dari kedua metode tersebut bertujuan untuk menghasilkan suatu cara evaluasi yang memiliki tingkat keterhubungan yang baik dengan human judgement, karena informasi yang terambil menjadi semakin banyak.
Pengujian dilakukan dengan menggunakan Pearson’s Coefficient of Correlation untuk mengukur hubungan linear antara nilai yang diberikan oleh aplikasi dan nilai rata-rata human judgement terhadap ringkasan yang sama. Hasil pengujian menunjukkan bahwa evaluasi dengan menggunakan algoritma LCS+SB mampu menghasilkan nilai evaluasi yang lebih tinggi dibandingkan algoritma LCS maupun SB, dengan hasil korelasi yang terkadang lebih tinggi dibandingkan kedua algoritma yang lain. Selain itu, korelasi dapat ditingkatan dengan melakukan penambahan jumlah ringkasan referensi yang digunakan.
Kata Kunci : Summarization Evaluation, Longest Common Subsequences, Skip Bigram Co Occurrences Statistics, ROUGE, Pearson’s Coefficient of CorrelationABSTRACT: Evaluation of text summarization automatic machine is a process to determine the quality of an automatic text summarization. This process produces value, obtained with comparing the summaries generated by text summarization automatic machine (also known as a candidate summary) with a summary (ideally) made by other people (also known as a reference summary) originating from the same source.
In this final project, the author implements the development of Longest Common Subsequences (LCS) and Skip Bigram Co Occurrences Statistics (SB) methods in ROUGE techniques for evaluating multi-document text summarization automatic machine. The objective of this development of methods is to produce a way of evaluation that has a good level of corelation with the human judgment, because the information becomes more and more drawn.
Testing is done by using Pearson's Coefficient of Correlation to measure the linear relationship between the value given by the application and the average value of human judgment of the same summary. Test results showed that the evaluation by using LCS+ SB algorithm is capable of producing higher evaluation score than LCS or SB algorithms, with the correlation result that sometimes the is higher than the other two algorithms. In addition, the correlation can be better by adding the percentage of the number of used summary reference.
Keyword: Summarization Evaluation, Longest Common Subsequences, Skip Bigram Co Occurrences Statistics, ROUGE, Pearson’s Coefficient of Correlation