Deteksi Ekspresi Emosi pada Citra Wajah Menggunakan Transfer Learning ResNet50V2 dengan Classifier Multiclass Support Vector Machine (SVM)

Dalam bidang computer vision dan human–computer interaction, identifikasi ekspresi emosional wajah merupakan topik yang sangat penting. Dibandingkan dengan teknik tradisional seperti survei atau wawancara, analisis ekspresi wajah dapat memberikan pemahaman yang lebih objektif mengenai kondisi emosional seseorang. Dalam penelitian ini, teknik transfer learning yang didasarkan pada arsitektur ResNet50V2 dan klasifikasi Multiclass Support Vector Machine (SVM) dapat digunakan untuk membangun dan mengimplementasikan sistem pengenalan ekspresi emosional pada foto wajah. Penelitian ini menggunakan dua set data, yaitu FER2013, merupakan sekumpulan data yang sudah diuji dengan fitur gambar yang lebih rumit dan beragam, serta CK+, sekumpulan data utama dengan pengaturan yang terkendali. Pemrosesan data mencakup beberapa hal, yaitu prapemrosesan gambar, augmentasi data, ekstraksi fitur menggunakan ResNet50V2, serta klasifikasi menggunakan SVM dengan kernel Radial Basis Function (RBF). Tujuh ekspresi emosi wajah, seperti marah, jijik, takut, gembira, sedih, terkejut, dan merendahkan dapat dikategorikan oleh sistem yang dibuat. Selain itu, Streamlit digunakan untuk membangun sistem dalam aplikasi online yang memfasilitasi prosedur prediksi interaktif. Dengan bantuan confusion matrix dan ROC curve, model tersebut dievaluasi menggunakan metrik accuracy, precision, recall, dan F1-score. Berdasarkan hasil pengujian, model tersebut memperoleh akurasi sebesar 98,08%, presisi sebesar 98,10%, recall sebesar 98,05%, dan F1-score sebesar 98,07% pada dataset CK+. Sebaliknya, model tersebut memperoleh akurasi sebesar 69,63%, presisi sebesar 69,20%, recall sebesar 68,90%, dan F1-score sebesar 69,00% pada dataset FER2013. Temuan ini menunjukkan bahwa, dalam lingkungan yang terkendali, pendekatan ResNet50V2 dan Multiclass SVM dapat menciptakan sistem deteksi emosi yang efisien; namun demikian, kinerjanya menurun pada dataset yang sangat bervariasi. Hal ini menyiratkan bahwa kemampuan model untuk melakukan generalisasi ke dunia nyata masih terbatas.