Analisis Perbandingan Performa Longest Approximate Time to End (LATE) dan Adaptive Failure Aware Scheduling (ATLAS) pada Job Scheduling Berdasarkan Karakteristik Job pada Hadoop

A.A.GEDE.AGUNG.BAYU.SUPUTRA

Informasi Umum

Kode

17.04.1123

Klasifikasi

620.007 - Engineering research

Jenis

Karya Ilmiah - Skripsi (S1) - Reference

Subjek

Big Data

Dilihat

116 kali

Informasi Lainnya

Abstraksi

Capacity dalam model antriannya menggunakan FIFO untuk mengatur alur antrian sehingga job yang sudah dieksekusi harus diselesaikan terlebih dahulu secara satu per satu. Penggunaan FIFO pada antrian membuat response time dan job throughput pada sistem menurun akibat lambatnya eksekusi tiap job yang dapat berujung pada failure akibat job yang dieksekusi melewati batas waktu eksekusi tidak dapat di-kill tanpa menunggu job selesai dieksekusi. Penurunan diperburuk saat penggunaan job dengan karakter shuffle dan copy yang berat pada proses map dan reduce yang membuat batas time-out tersebut cepat dicapai saat proses ekseskusi dan berdampak pada penurunan throughput dan response time akibat lambatnya eksekusi job. Hal ini juga berdampak pada nilai failure meningkat seiring jumlah job yang di-kill oleh Hadoop meningkat saat job yang dieksekusi tidak selesai dengan resource dan waktu yang sudah diberikan. Oleh karena itu ditawarkan algoritma scheduling baru yakni ATLAS dan LATE untuk menyelesaikan masalah tersebut. ATLAS dalam scheduling memiliki karakteristik yakni pemberian bobot kepada job berdasarkan profiling pada MapReduce untuk menentukan apakah job yang lambat dieksekusi secara spekulatif atau pada antrian dengan pinalti. LATE dalam scheduling memiliki pendekatan menggunakan bobot dan progress rate pada job untuk menentukan apakah job yang dieksekusi lambat atau tidak namun memiliki perbedaan pada metode eksekusinya yakni hanya menggunakan spekulatif task pada eksekusi job yang lambat.
Hasil pengujian menunjukkan bahwa ATLAS memiliki performansi yang lebih baik dibandingkan LATE berdasarkan 3 parameter performasi yang digunakan yakni meningkatkan kecepatan response time sampai 10%, mengurangi nilai job fail rate sampai 31%, dan meningkatkan nilai job throughput sampai 11% dibanding LATE. Hal ini diakibatkan job scheduling ATLAS yang lebih efisien dalam mengolah job karena penggunaan bobot job pada proses MapReduce.