Data Mining

Data Mining

DATAMINING

Data mining yaitu disiplin ilmu yang mempelajari metode untuk mengekstrak pengetahuan atau menemukan pola dari suatu data

- Data : fakta yang terekam dan tidak membawa arti
- Pengetahuan : pola, aturan atau model yang muncul dari data

Sehingga Data mining sering disebut Knowledge Discovery in Database (KDD), Konsep Transformasi Data → Informasi → Pengetahuan

Data
Data merupakan kumpulan dari fakta-fakta tentang suatu kejadian. Suatu catatan terstruktur dari suatu transaksi. Merupakan materi penting dalam membentuk informasi.


Pengetahuan
Gabungan dari suatu pengalaman, nilai, informasi kontekstual dan juga pandangan pakar yang memberikan suatu framework untuk mengevaluasi dan menciptakan pengalaman baru dan informasi (Thomas H. Davenport, Laurence Prusak). Bisa berupa solusi pemecahan suatu masalah, petunjuk suatu pekerjaan dan ini bisa ditingkatkan nilainya, dipelajari dan juga bisa diajarkan kepada yang lain.

 
Data - Informasi – Pengetahuan 

Data Kehadiran Pegawai
Data Mining


Informasi Akumulasi Bulanan Kehadiran Pegawai

Data Mining


Informasi Kondisi Kehadiran Mingguan Pegawai

Data Mining



  • Pengetahuan tentang kebiasaan pegawai dalam jam datang/pulang kerja
  • Pengetahuan tentang bagaimana teknik meningkatkan kehadiran pegawai -> kebijakan


Data - Informasi - Pengetahuan - Kebijakan 

  • Kebijakan penataan jam kerja karyawan khusus untuk hari senin dan jumat
  • Peraturan jam kerja:

- Hari Senin dimulai jam 10:00
- Hari Jumat diakhiri jam 14:00
- Sisa jam kerja dikompensasi ke hari lain:
  1. Senin pulang setelah maghrib, toh jalanan jakarta macet total di sore hari (bayar hutang 2 jam)
  2. Rabu dan kamis bayar hutang setengah jam di pagi hari dan setengah jam di sore hari (bayar hutang 2 jam) 

Definisi Data Mining
Berikut ini definisi data mining dari berbagai sumber :
  • Melakukan ekstraksi untuk mendapatkan informasi penting yang sifatnya implisit dan sebelumnya tidak diketahui, dari suatu data (Witten et al., 2011)
  • Kegiatan yang meliputi pengumpulan, pemakaian data historis untuk menemukan keteraturan, pola dan hubungan dalam set data berukuran besar (Santosa, 2007)
  • The analysis of (often large) observational data sets to find unsuspected relationships and to summarize the data in novel ways that are both understandable and useful to the data owner (Han & Kamber, 2001)
  • The process of discovering meaningful new correlations, patterns and trends by sifting through large amounts of data stored in repositories, using pattern recognition technologies as well as statistical and mathematical techniques (Gartner Group)


Irisan Bidang Ilmu Data Mining

Statistik:
- Lebih bersifat teori
- Fokus ke pengujian hipotesis

Machine Learning:
- Lebih bersifat heuristik
- Fokus pada perbaikan performansi dari suatu teknik learning

Data Mining:
- Gabungan teori dan heuristik
- Fokus pada seluruh proses penemuan knowledge dan pola
- Termasuk data cleaning, learning dan visualisasi hasilnya


Peran Utama Data Mining

  • Estimation
  • Prediction
  • Classification
  • Clustering
  • Association


Data Mining



Dataset with Attribute and Class


Data Mining


Estimasi Waktu Pengiriman Pizza

Data Mining


Waktu Tempuh (T) = 0.48P + 0.23B + 0.5J


Penentuan Kelulusan Mahasiswa 

Data Mining



Klastering Bunga Iris

Data Mining

Data Mining


 
Algoritma Data Mining (DM)

Estimation (Estimasi):
- Linear Regression, Neural Network, Support Vector Machine, etc

Prediction/Forecasting (Prediksi/Peramalan):
- Linear Regression, Neural Network, Support Vector Machine, etc

Classification (Klasifikasi):
- Naive Bayes, K-Nearest Neighbor, C4.5, ID3, CART, Linear Discriminant Analysis, etc

Clustering (Klastering):
- K-Means, K-Medoids, Self-Organizing Map (SOM), Fuzzy C-Means, etc

Association (Asosiasi):
- FP-Growth, A Priori, etc


Metode Learning Pada Algoritma DM

Data Mining


1. Supervised Learning (Pembelajaran dengan Guru):

Sebagian besar algoritma data mining (estimation, prediction/forecasting, classification) adalah supervised learning. Variabel yang menjadi target/label/class ditentukan. Algoritma melakukan proses belajar berdasarkan nilai dari variabel target yang terasosiasi dengan nilai dari variable prediktor


Dataset with Attribute and Class

Data Mining


2. Unsupervised Learning (Pembelajaran tanpa Guru):
  • Algoritma data mining mencari pola dari semua variable (atribut)
  • Variable (atribut) yang menjadi target/label/class tidak ditentukan (tidak ada)
  • Algoritma clustering adalah algoritma unsupervised learning


Data Mining


3. Association Learning (Pembelajaran untuk Asosiasi Atribut)

  • Proses learning pada algoritma asosiasi (association rule) agak berbeda karena tujuannya adalah untuk mencari atribut yang muncul bersamaan dalam satu transaksi 
  • Algoritma asosiasi biasanya untuk analisa transaksi belanja, dengan konsep utama adalah mencari “produk/item mana yang dibeli bersamaan”
  • Pada pusat perbelanjaan banyak produk yang dijual, sehingga pencarian seluruh asosiasi produk memakan cost tinggi, karena sifatnya yang kombinatorial
  • Algoritma association rule seperti apriori algorithm, dapat memecahkan masalah ini dengan efisien


Dataset Transaction

Data Mining


Association Rules
Data Mining


Data Mining


Proses Utama pada Data Mining

Data Mining


Output/Pola/Model/Knowledge

1. Formula/Function (Rumus atau Fungsi Regresi)
WAKTU TEMPUH = 0.48 + 0.6 JARAK + 0.34 LAMPU + 0.2 PESANAN

2. Decision Tree (Pohon Keputusan)

3. Rule (Aturan)
IF ips3=2.8  THEN lulustepatwaktu

4. Cluster (Klaster)

Input – Metode – Output – Evaluation

Data Mining


CRISP-DM (Cross Industry Standard Process for Data Mining)

Pengenalan CRISP-DM

  • CRISP-DM (Cross Industry Standard Process for Data Mining) merupakan model proses data mining yang menggambarkan urutan atau langkah pada penelitian Data Mining yang digunakan para ahli untuk mengatasi masalah. Jajak pendapat yang dilakukan pada tahun 2002, 2004, dan 2007 menunjukkan bahwa CRISP-DM termasuk metodologi terkemuka yang digunakan oleh para ahli Data Mining.
  • Pada tahun 2009, CRISP-DM disebutkan sebagai standar de facto untuk mengembangkan project Data Mining atau KDD (Knowledge Discovery in Database).


Data Mining


SEMMA –DM

Data Mining

Data Mining


Keterangan

  • Pemahaman Bisnis(Business Understanding) = Merupakan tahap awal yaitu pemahaman penelitian, penentuan tujuan dan rumusan masalah data mining.
  • Pemahaman Data(Data Understanding) = Dalam tahap ini dilakukan pengumpulan data, mengenali lebih lanjut data yang akan digunakan.
  • Pengolahan Data(Data Preparation) = Tahap ini adalah pekerjaan berat yang perlu dilaksanakan secara intensif.  Memilih kasus atau variable yang ingin dianalisis, melakukan perubahan pada beberapa variable jika diperlukan sehingga data siap untuk dimodelkan.
  • Pemodelan(Modeling) = Memilih teknik pemodelan yang sesuai dan sesuaikan aturan model untuk hasil yang maksimal.  Dapat kembali ke tahap pengolahan untuk menjadikan data ke dalam bentuk yang sesuai dengan model tertentu.
  • Evaluasi (Evaluation) = Mengevaluasi satu atau model yang digunakan dan menetapkan apakah terdapat model yang memenuhi tujuan pada tahap awal.  Kemudian menentukan apakah ada permasalahan yang tidak dapat tertangani dengan baik serta mengambil keputusan hasil penelitian.
  • Penyebaran (Deployment) = Menggunakan model yang dihasilkan seperti pembuatan laporan atau penerapan proses data mining pada departemen lain.