Algoritma C4.5

Algoritma C4.5

Algoritma C4.5


Algoritma C4.5 merupakan algoritma yang digunakan untuk membentuk pohon keputusan (Decision Tree). Pohon keputusan merupakan metode klasifikasi dan prediksi yang terkenal.
Pohon keputusan berguna untuk mengekspolari data, menemukan hubungan tersembunyi antara sejumlah calon variabel input dengan sebuah variabel target.
Banyak algoritma yang dapat dipakai dalam pembentukan pohon keputusan, antara lain : ID3, CART, dan C4.5. Algoritma C4.5 merupakan pengembangan dari algoritma ID3, Proses pada pohon keputusan adalah mengubah bentuk data (tabel) menjadi model pohon, mengubah model pohon menjadi rule, dan menyederhanakan rule.

Contoh Data Keputusan Bermain Tenis

Algoritma C4.5



    Secara umum algoritma C4.5 untuk membangun pohon keputusan adalah sebagai berikut :
  • Pilih atribut sebagai akar.
  • Buat cabang untuk tiap-tiap nilai.
  • Bagi kasus dalam cabang.
  • Ulangi proses untuk setiap cabang sampai semua kasus pada cabang memiliki kelas yang sama.

Konsep Entropy
  • Entropy (S) merupakan jumlah bit yang diperkirakan dibutuhkan untuk dapat mengekstrak suatu kelas (+ atau -) dari sejumlah data acak pada ruang sampel S.
  • Entropy dapat dikatakan sebagai kebutuhan bit untuk menyatakan suatu kelas.
  • Entropy digunakan untuk mengukur ketidakaslian S.


Algoritma C4.5


Konsep Gain
  • Gain (S,A) merupakan perolehan informasi dari atribut A relative terhadap output data S.
  • Perolehan informasi didapat dari output data atau variable dependent S yang dikelompokkan berdasarkan atribut A, dinotasikan dengan gain (S,A).

Algoritma C4.5


Langkah 1
  • Menghitung jumlah kasus, jumlah kasus untuk keputusan Yes, jumlah kasus untuk keputusan No, dan Entropy dari semua kasus dan kasus yang dibagi berdasarkan atribut OUTLOOK, TEMPERATURE, HUMIDITY, dan WINDY.
  • Setelah itu lakukan perhitungan Gain untuk setiap atribut.
  • Hasil perhitungan ditunjukan di bawah ini.

Perhitungan Node 1

Algoritma C4.5


Cara Perhitungan Node 1 (1)

Algoritma C4.5
Cara Perhitungan Node 1 (2)

Algoritma C4.5

Cara Perhitungan Node 1 (3)

  • Dari hasil diketahui bahwa atribut dengan gain tertinggi adalah HUMIDITY yaitu sebesar 0.37. Sehingga HUMIDITY dapat menjadi node akar.
  • Ada dua nilai atibut dari HUMIDITY, yaitu HIGH dan NORMAL.
  • Nilai atribut NORMAL sudah mengklasifikasikan kasus menjadi 1, yaitu keputusannya Yes, sehingga tidak perlu dilakukan perhitungan lebih lanjut.
  • Tetapi untuk nilai HIGH masih perlu dilakukan perhitungan lagi.


Algoritma C4.5


Langkah 2
  • Menghitung jumlah kasus, jumlah kasus untuk keputusan Yes, jumlah kasus untuk keputusan No. 
  • Entropy dari semua kasus dan kasus yang dibagi berdasarkan atribut OUTLOOK, TEMPERATURE dan WINDY, yang dapat menjadi node akar dari nilai atribut HIGH.
  • Setelah itu lakukan perhitungan Gain, untuk tiap-tiap atribut.


Perhitungan Node 1.1

Algoritma C4.5


Cara Perhitungan Node 1.1 (1)

  • Atribut dengan Gain tertinggi adalah OUTLOOK, yaitu sebesar 0.6995.
  • Sehingga OUTLOOK dapat menjadi node cabang dari nilai atribut HIGH.
  • Ada tiga nilai dari atribut OUTLOOK yaitu CLOUDY, RAINY dan SUNNY.

- CLOUDY => klasifikasi kasus 1 (Yes)
- SUNNY   => klasifikasi kasus 1 (No)
- RAINY     => masih perlu perhitungan lagi.


Cara Perhitungan Node 1.1 (2)

Algoritma C4.5


Langkah 3

  • Menghitung jumlah kasus, jumlah kasus untuk keputusan Yes, jumlah kasus untuk keputusan No. 
  • Entropy dari semua kasus dan kasus yang dibagi berdasarkan atribut TEMPERATURE dan WINDY, yang dapat menjadi node cabang dari nilai atribut RAINY.
  • Setelah itu lakukan perhitungan Gain, untuk tiap-tiap atribut.


Perhitungan Node 1.1.2

Algoritma C4.5


Cara Perhitungan Node 1.1.2 (1)

  • Atribut dengan Gain tertinggi adalah WINDY, yaitu sebesar 1.
  • Sehingga WINDY dapat menjadi node cabang dari nilai atribut RAINY.
  • Ada dua nilai dari atribut WINDY, yaitu FALSE dan TRUE.

- Nilai atribut FALSE sudah mengklasifikasikan kasus menjadi 1 (Yes).
- Nilai atribut TRUE sudah mengklasifikasikan kasus menjadi 1 (No).
- Sehingga tidak perlu dilakukan perhitungan lagi.

Cara Perhitungan Node 1.1.2 (2)

Algoritma C4.5


anda bisa melihat contoh lainnya pada artikel berikut ini Contoh Perhitungan Decision Tree dengan Algoritma C45

5 comments

avatar

Saya mau tanya ini, misalkan entropy hasilnya O (NOL) terus kelanjutan menghitungnya gimana? mohon di jawab

Balas
avatar

ada contoh pogram php nya mas?

Balas
avatar

yang dihitung yang masih mempunyai nilai, 0 habis/selesai

Balas
avatar

Metode c4.5 ini pake software apa ea pak

Balas
avatar
Balas