Teknik Evaluasi pada Model Machine Learning

Hai, temen-temen semua. Kali ini pembahasannya tentang Teknik Evaluasi pada Model Machine Learning. Gimana sih Teknik Evaluasi itu? Simak penjelasannya dibawah ini!

     Ada beberapa metric untuk mengevaluasi model Machine Learning diantaranya Classification Metrics (Accuracy, Precision, Recall, F1-score), Regression Metrics (MSE, RSME, MAE), Ranking Metrics (MRR, DCG, NDCG), Statistical Metrics (Correlation), Computer Vision Metrics (PSNR, SSIM, IoU), NLP Metrics (Perplexity, BLEU score), dan Deep Learning Related Metrics (Inception score, Frechet Inception distance). Tapi, kali ini, yang akan dibahas adalah Classification Metrics (Accuracy, Precision, Recall, F1-score).

A. Classification Metrics (Accuracy, Precision, Recall, F1-score)

-          Confusion Matrix

a.      True Positive (TP) merupakan data positif yang diprediksi benar. Contohnya, pasien menderita kanker (class 1) dan dari model yang dibuat memprediksi pasien tersebut menderita kanker (class 1).

b.     True Negative (TN) merupakan data negatif yang diprediksi benar. Contohnya, pasien tidak menderita kanker (class 2) dan dari model yang dibuat memprediksi pasien tersebut tidak menderita kanker (class 2).

c.      False Postive (FP) — Type I Error merupakan data negatif namun diprediksi sebagai data positif. Contohnya, pasien tidak menderita kanker (class 2) tetapi dari model yang telah memprediksi pasien tersebut menderita kanker (class 1).

d.     False Negative (FN) — Type II Error merupakan data positif namun diprediksi sebagai data negatif. Contohnya, pasien menderita kanker (class 1) tetapi dari model yang dibuat memprediksi pasien tersebut tidak menderita kanker (class 2).

-        Accuracy adalah persentase jumlah data yang diprediksi secara benar terhadap jumlah keseluruhan data. Akurasi hanya cocok digunakan pada saat perbandingan jumlah label data sebenarnya relatif sama.

-        Precision adalah proporsi prediksi berlabel “Positif” yang benar terhadap keseluruhan prediksi “Positif”

-        Recall atau Sensitivitas atau True Positive Rate adalah proporsi jumlah data yang diprediksi model berlabel “Positif” dari seluruh data yang memang berlabel “Positif”

-        F1-score merangkum presisi & sensitivitas dengan mengambil RATAAN HARMONIK dari keduanya

-        Specificity : rasio jumlah data yang diprediksi model berlabel “NEGATIVE” dari seluruh data yang memang berlabel “NEGATIVE”

-     False Positive Rate (FPR)

Catatan :

1.      Pilih algoritma yang memiliki accuracy tinggi jika akurasi sangat bagus di gunakan sebagai acuan performansi algoritma JIKA dataset memiliki jumlah data False Negatif dan False Positif yang sangat mendekati (Symmetric). Namun jika jumlahnya tidak mendekati, maka sebaiknya gunakan F1 Score sebagai acuan.

2.      Pilih algoritma yang memiliki precission tinggi jika kita lebih menginginkan terjadinya True Positif dan sangat tidak menginginkan terjadinya False Positif.

3.      Pilih algoritma yang memiliki Recall tinggi jika kita lebih memilih False Positif lebih baik terjadi daripada False Negatif.

4.      Pilih algoritma yang memiliki Specificity tinggi jika kita tidak menginginkan terjadinya false positif.

Nah, itu dia pembahasan mengenai Teknik Evaluasi Model Machine Learning kali ini. Mohon maaf atas apabila ada kesalahan atau kekeliruan, untuk itu kalian boleh komen dibawah apa untuk memperbaiki kekeliruannya atau mungkin ada masukan juga, silahkan tulis di kolom komentar dibawah. Sekian untuk pembahasan blog kali ini, jangan lupa pantengin terus pembahasan di blog-blog selanjutnya. Terima kasih dan Bye :)

Sumber :

Dosen Machinelearning ITPLN Ibu Efy Yosrita ,S.Si, M.Kom