Setelah kita menggunakan beberapa mannequin dengan algoritma KNN dan Resolution Tree di modul sebelumnya. Kita akan melihat seberapa baik performa dari kedua mannequin tersebut menggunakan mannequin analysis.
Setiap machine studying memiliki matriks evaluasi berbeda-beda bergantung pada matriks klasifikasi yang ingin kita dahulukan.
Confusion Matrix
Confusion matrix atau matriks kekeliruan adalah matriks yang menampilkan banyaknya nilai prediksi dan nilai aktual information.
True Damaging (TN) merepsentasikan banyaknya sampel negatif (bukan goal) yang diklasifikasikan (diprediksi) dengan benar. True Optimistic (TP) merepsentasikan banyaknya sampel positif (goal) yang diklasifikasikan (diprediksi) dengan benar.
False Damaging (FN) merepresentasikan banyaknya sampel negatif (bukan goal) yang diklasifikasikan (prediksi) dengan salah. FN disebut juga sebagai kesalahan/galat tipe 2 yang sangat berbahaya. Sementara itu, False Postive (FP) menggambarkan banyaknya sampel positif (goal) yang diklasifikasikan dengan salah. FP disebut juga kesalahan/galat tipe 1.
Accuracy
Akurasi menggambarkan keakuratan mannequin dalam mengklasifikasikan information dengan benar. Semakin besar nilai akurasi, mannequin machine studying semakin baik dalam memprediksi information.
Recall
Recall atau sensitivity menggambarkan tingkat keberhasilan mannequin dalam mengembalikan informasi. Semakin besar nilai recall, semakin baik mannequin dalam memprediksi.
Precision
Presisi menggambarkan keakuratan mannequin dalam mengembalikan semua nilai positif (goal). Semakin besar nilai presisi, semakin baik mannequin dalam memprediksi information.
Commerce Off
F1 Rating
F1 rating menampilkan perbandingan antara rata-rata precision dan recall yang telah dibobotkan. F1 rating digunakan sebagai acuan ketika jumlah False Optimistic (FP) dan False Damaging (FN) tidak simetris.
Demo
Untuk mengevaluasi mannequin, kita dapat menggunakan fungsi confusion_matrix() dan classification_report() dari sklearn.metrics.
from sklearn.metrics import confusion_matrix, classification_report
#kita lihat CM dari mannequin choice tree
print(confusion_matrix(y_test, y_test_pred_dt))'''OUTPUT
[[ 2 4]
[ 7 25]]
'''
#kita lihat Classification Report dari mannequin choice tree
print(classification_report(y_test, y_test_pred_dt))
Output:
Atau kita juga dapat melihat recall, presion, accuracy, dan f1 rating masing-masing dari sklearn.metrics.
from sklearn.metrics import recall_score, precision_score, accuracy_score, f1_score
#mannequin choice tree
print('recall:', recall_score(y_test, y_test_pred_dt))
print('precision:', precision_score(y_test, y_test_pred_dt))
print('accuracy:', accuracy_score(y_test, y_test_pred_dt))
print('f1 rating:', f1_score(y_test, y_test_pred_dt))
Output:
Study Extra by way of myskill.id/course/data-science-model-evaluation-in-movie-analytics
