ABSTRAKSI: Evaluasi ringkasan adalah proses yang dilakukan untuk menentukan kualitas ringkasan dari suatu Automatic Text Summarization (ATS). Salah satu metodologi mengevaluasi ringkasan adalah dengan Metode Piramida.
Pada tugas akhir ini digunakan teknik Piramida untuk mengevaluasi kandidat ringkasan (peer summary) yang dihasilkan oleh suatu ATS. Peer summary inilah yang akan dibandingkan dengan suatu Piramida. Sebelumnya, Piramida dibangun secara manual dari reference summaries yang dihasilkan manusia. Output dari perbandingan ini berupa skor, dengan menggunakan algoritma pemberian skor original pyramid score dan modified pyramid score.
Pengujian dilakukan dengan Pearson’s Coefficient of Correlation, yaitu dengan membandingkan recall dan precision antara Piramida dengan Human judgement. Hasil pengujian menunjukkan koefisien korelasi yang dihasilkan termasuk tinggi. Dengan kata lain, bahwa metode Piramida ini mendekati hasil ideal dari human judgement.Kata Kunci : Piramida, peer summary, original pyramid score, modified pyramidABSTRACT: Summary evaluation is a process that is conducted to determine the quality of the summary of an Automatic Text summarization (ATS). One methodology is to evaluate the summaries Pyramid Method.
In this final pyramid technique is used to evaluate the candidate summary (peer summary) generated by an ATS. Peers summary, which will be compared to a pyramid. Previously, the Pyramid was built manually from the reference human generated summaries. The output from this comparison of scores, using the original scoring algorithm and modified pyramid score pyramid score.
Testing was done by Pearson's coefficient of correlation, namely by comparing the recall and precision between the Pyramid with human judgment. The test results show the resulting correlation coefficient is high. In other words, that the pyramid method is nearing an ideal outcome of human judgment.Keyword: Pyramid, peer summary, the original pyramid score, the modified