Prediksi Kepribadian Menggunakan Transfer Learning Model VGG-Face Berbasis Video
Penelitian ini bertujuan untuk mengembangkan model prediksi kepribadian berdasarkan model Big Five Personality menggunakan metode Transfer Learning VGG-Face yang berbasis video. Penelitian ini penting karena prediksi kepribadian secara akurat dapat digunakan dalam berbagai aplikasi, seperti analisis perilaku dan proses rekrutmen. Dalam penelitian ini, model VGG-Face dan dua lapisan LSTM yang dilanjutkan dengan beberapa layer Dense dan Dropout yang telah dilatih sebelumnya digunakan untuk ekstraksi fitur wajah dari video, kemudian fitur-fitur tersebut digunakan untuk memprediksi kepribadian berdasarkan lima dimensi utama: openness, conscientiousness, extraversion, agreeableness, dan neuroticism Penelitian ini menggunakan data sekunder yang diambil dari dataset ChaLearn Looking at People (LAP), yang digunakan dalam kompetisi CVPR 2017 dan mencakup sekitar 10.000 video. Model dievaluasi menggunakan metrik Mean Absolute Error (MAE), yang kemudian dikonversi menjadi nilai akurasi regresi. Hasil evaluasi menunjukkan performa yang baik dengan akurasi: Training: 91,75%, Validation: 90,39%, Testing: 90,28%. Model prediksi yang dikembangkan menunjukkan performa yang tinggi dalam mengestimasi lima dimensi kepribadian berdasarkan video, dengan tingkat akurasi yang konsisten pada data pelatihan, validasi, dan pengujian. Hal ini menunjukkan bahwa pendekatan transfer learning berbasis VGG-Face yang dikombinasikan dengan LSTM efektif dalam menangkap informasi spasial dan temporal dari ekspresi wajah untuk prediksi kepribadian.
This study aims to develop a personality prediction model based on the Big Five Personality traits using a video-based Transfer Learning approach with VGG-Face. Accurate personality prediction is important for various applications, such as behavior analysis and recruitment processes. In this research, the VGG-Face model is combined with two LSTM layers, followed by several pre-trained Dense and Dropout layers, to extract facial features from videos. These features are then used to predict personality across five major dimensions: openness, conscientiousness, extraversion, agreeableness, and neuroticism. The study uses secondary data from the ChaLearn Looking at People (LAP) dataset, which was used in the CVPR 2017 competition and contains approximately 10,000 videos. The model was evaluated using the Mean Absolute Error (MAE) metric, which was then converted into regression accuracy scores. The evaluation results demonstrate strong performance, with accuracies of 91.75% for training, 90.39% for validation, and 90.28% for testing. The developed prediction model shows high performance in estimating the five personality dimensions from video, with consistent accuracy across training, validation, and testing datasets. This indicates that the VGG-Face-based transfer learning approach combined with LSTM is effective in capturing both spatial and temporal facial information for personality prediction.