Eksplorasi Fitur Seleksi Perbandingan Metode SVM dan Random Forest dalam Analisis Sentimen Ulasan Pengguna Aplikasi GoPay di Google Play Store

Exploration of Selection Features Comparison of SVM and Random Forest Methods in Sentiment Analysis of GoPay Application User Reviews on Google Play Store

Aplikasi GoPay merupakan aplikasi yang cukup populer saat ini. Hal ini ditunjukkan dengan banyaknya ulasan dari penggunanya yaitu sebanyak 44 ribu lebih. Ulasan ini memberikan informasi penting mengenai kepuasan pengguna terhadap layanan yang ditawarkan. Namun, dengan volume data ulasan yang sangat besar, pengolahan secara manual akan menyulitkan, sehingga dibutuhkan metode otomatis untuk mengkategorikan ulasan pengguna berdasarkan sentimennya. Penelitian ini bertujuan untuk memberikan solusi dengan melakukan analisis sentimen terhadap ulasan pengguna aplikasi GoPay. Metode SVM dan Random Forest diterapkan sebagai metode klasifikasi dan Chi-square dan Information Gain sebagai fitur seleksi. Untuk teknik evaluasi, split data dan K-Fold Cross Validation diimplementasikan. Data yang digunakan adalah ulasan pengguna pada periode Juli 2023 hingga Februari 2024 sebanyak 1.000 data. Pada periode tersebut, aplikasi GoPay lebih banyak mendapatkan sentimen positif. Hasil pengujian memperlihatkan teknik split data menghasilkan performa yang lebih baik dibandingkan dengan K-Fold Cross Validation. Kemudian, fitur seleksi Chi-square tidak mampu meningkatkan performa pada model yang dibangun dengan SVM dan Random Forest. Sedangkan, fitur seleksi Information Gain hanya mampu meningkatkan performa model Random Forest. Metode SVM dengan kernel Sigmoid mencapai kinerja terbaik pada pengujian tanpa fitur seleksi. Nilai kinerja yang dicapai adalah akurasi 98%, presisi 98,09%, recall 98%, dan F1-score 98,01%. Sedangkan, metode Random Forest memiliki kinerja terbaik ketika dikombinasikan dengan Information Gain dengan nilai akurasi yang dihasilkan sebesar 97%, presisi 97,01%, recall 97%, dan F1-score 96,99%. Kinerja terbaik dari kedua metode tersebut dicapai dengan teknik evaluasi split data rasio 90:10. Hasil-hasil yang diperoleh ini menunjukkan bahwa metode SVM memiliki performa yang lebih baik dibandingkan Random Forest dengan perbedaan akurasi sebesar 1%, presisi 1,08%, recall 1%, dan F1-score 1,02%.

The GoPay application is an application that is quite popular today. This is indicated by the number of reviews from its users, which is more than 44 thousand. These reviews provide important information about user satisfaction with the services offered. However, with a very large volume of review data, manual processing will be difficult, so an automatic method is needed to categorize user reviews based on their sentiments. This research aims to provide a solution by conducting sentiment analysis of GoPay application user reviews. SVM and Random Forest methods are applied as classification methods and Chi-square and Information Gain as selection features. For evaluation techniques, split data and K-Fold Cross Validation are implemented. The data used are user reviews in the period July 2023 to February 2024 totaling 1,000 data. In that period, the GoPay application received more positive sentiments. The test results show that the split data technique produces better performance than K-Fold Cross Validation. Then, the Chi-square selection feature is unable to improve performance on models built with SVM and Random Forest. Meanwhile, the Information Gain selection feature is only able to improve the performance of the Random Forest model. The SVM method with Sigmoid kernel achieves the best performance in tests without selection features. The performance values achieved are 98% accuracy, 98.09% precision, 98% recall, and 98.01% F1-score. Meanwhile, the Random Forest method has the best performance when combined with Information Gain with the resulting accuracy value of 97%, precision 97.01%, recall 97%, and F1-score 96.99%. The best performance of both methods was achieved with a 90:10 ratio split data evaluation technique. The results obtained show that the SVM method has better performance than Random Forest with a difference of 1% accuracy, 1.08% precision, 1% recall, and 1.02% F1-score.