Analisis dan implementasi change data capture dengan metode asynchronous distributed hotlog pada data warehouse

shafniati

Informasi Umum

Kode

113080124

Klasifikasi

005.1 - Computer programming

Jenis

Karya Ilmiah - Skripsi (S1) - Reference

Subjek

Rekayasa Perangkat Lunak

Dilihat

16 kali

Informasi Lainnya

Abstraksi

ABSTRAKSI: Data warehouse hadir dan berkembang sebagai repository data yang saat ini sangat dibutuhkan oleh perusahaan. Pengelolaan data yang sangat banyak dan tersebar serta informasi yang dapat digali dari historical data menjadi tujuan dari pembuatan data warehouse. Sebagai sebuah repository data, data warehouse tentunya akan selalu berinteraksi dengan data dalam jumlah yang besar, menangani transaksi data dalam jumlah yang besar dan intensitas yang tinggi. Oleh karena itu, data warehouse dituntut untuk mampu menangani setiap transaksi yang terjadi di operasional database dan menangkap perubahan data dari setiap transaksi dan menyimpannya sebagai sebuah historical data dengan delay sekecil mungkin. Untuk menangani masalah tersebut, ada sebuah proses dalam data warehouse yang disebut change data captue (CDC). Proses CDC akan mengidentifikasi dan memproses setiap perubahan yang terjadi di operasional database kemudian dikirimkan dan disimpan ditempat penyimpanan sementara yang disebut staging database. Dengan banyaknya data dan transaksi yang terjadi setiap harinya, diperlukan performansi yang bagus dari proses CDC. Untuk mendapatkan performansi yang bagus, tentunya diperlukan kinerja yang bagus dari setiap komponen yang membangun proses CDC. Untuk itu, dalam tugas akhir ini, dilakukan implementasi dan pengujian terhadap proses CDC untuk melihat performansi yang dihasilkan berdasarkan waktu eksekusi CDC. Lalu kemudian di analisis komponen apa saja yang berperan dalam CDC dan bagaimana kinerja dari setiap komponen tersebut. Dengan analisis performansi dan mengetahui faktor-faktor yang mempengaruhi performansi, maka proses waiting dalam CDC dapat dihilangkan atau dikurangi intensitas dan waktunya. Sehingga proses CDC dapat menghasilkan delay sekecil mungkin dan menjadi real time data warehouse.Kata Kunci : data warehouse, change data capture, historical data, performansi, delayABSTRACT: Data warehouse are present and developed as a data repository that is currently required by the company. amount of data thatmust be managed and spread as well as information that can be extracted from historical data into the purpose of the data warehouse creation. As a repository of data, data warehouse would have always interacted with a large amount of data, handle the transaction data in large numbers and high intensity. Therefore, the data warehouse is claimed to be able to handle every transaction that occurs in the operational database and capture data changes from each transaction and save it as a historical data with minimal delay. To deal with these problems, there is a process in the data warehouse that is called change data captue (CDC). CDC process will identify and process any changes that occur in the operation of the database are then transmitted and stored in temporary storage, called the staging database. With the number of data and transactions that occur each day, data warehouse needed a good performance from the CDC. To get a good performance, CDC certainly needed a good performance from each component of the building process of the CDC. In this final project, will performed the implementation and testing of the CDC to see the resulting performance based on CDC's execution time. Then later in the analysis of any components that play a role in the CDC and how the performance of any of the component. With the analysis of performance and find out the factors that influence performance, then the process of waiting in CDC can be eliminated or reduced the intensity and time. So the CDC process can generate a delay as small as possible and become a real time data warehouse.Keyword: data warehouse, change data capture, source database, staging database, asynchronous distributed hotlog.