Optimalisasi Model IndoBert untuk Penanganan Keluhan pada E-Layanan Universitas Negeri Surabaya

Optimization of the IndoBert Model for Complaint Handling at Surabaya State University E-Layanan

Universitas Negeri Surabaya (UNESA) telah mengoperasikan sistem E-Layanan sejak tahun 2017 sebagai sarana penanganan keluhan terkait penggunaan sistem informasi dan jaringan. Namun, proses analisis keluhan masih dilakukan secara manual sehingga berpotensi menimbulkan keterlambatan respons, ketidaktepatan klasifikasi, serta kesulitan dalam mengidentifikasi subjek utama keluhan. Peningkatan jumlah keluhan setiap tahun menjadikan permasalahan ini semakin kompleks dan memerlukan pendekatan berbasis kecerdasan buatan yang lebih efisien dan akurat. Penelitian ini bertujuan untuk mengoptimalkan model berbasis IndoBERT dalam tiga fokus utama, yaitu prediksi subkategori keluhan, ekstraksi subjek utama keluhan, dan klasifikasi tingkat urgensi keluhan pada E-Layanan UNESA. Pada prediksi subkategori, tujuh pendekatan berbasis transformer dan hybrid diuji menggunakan data keluhan periode 2017–2024 yang telah melalui proses balancing dan augmentasi. Hasil eksperimen menunjukkan bahwa pendekatan hybrid IndoBERT + BiLSTM + BiGRU serta IndoBERT + XGBoost memberikan performa terbaik dengan akurasi mencapai 95%, mengungguli model tunggal maupun multibahasa. Untuk ekstraksi subjek utama, pendekatan hybrid semantic-topic extraction yang mengombinasikan embedding IndoBERT, cosine similarity, dan analisis topik LDA mampu mencapai Top-1 Accuracy sebesar 84,21% dan Top-3 Accuracy sebesar 90,08%, serta menunjukkan konsistensi tematik sebesar 88,94%. Sementara itu, klasifikasi tingkat urgensi keluhan menggunakan TF-IDF dan Logistic Regression berbobot menghasilkan akurasi 92,54% dengan recall tinggi pada kelas prioritas. Secara keseluruhan, penelitian ini membuktikan bahwa pendekatan hybrid yang menggabungkan representasi kontekstual, analisis tematik, dan metode klasifikasi statistik mampu meningkatkan akurasi dan konsistensi analisis keluhan. Hasil penelitian ini diharapkan dapat menjadi dasar pengembangan sistem penanganan keluhan berbasis NLP dan AI yang lebih terstruktur dan efektif di lingkungan UNESA.

Kata Kunci:  E-Layanan; IndoBERT; Prediksi Subkategori Keluhan; Ekstraksi Subjek Utama; Klasifikasi Tingkat Urgensi.

Surabaya State University (UNESA) has been operating the E-Layanan system since 2017 as a means of handling complaints related to the use of information systems and networks. However, the complaint analysis process is still carried out manually, which has the potential to cause delayed responses, inaccurate classification, and difficulties in identifying the main subject of complaints. The increasing number of complaints each year makes this problem increasingly complex and requires a more efficient and accurate artificial intelligence-based approach. This study aims to optimize an IndoBERT-based model in three main focuses: predicting complaint subcategories, extracting the main subject of complaints, and classifying the urgency level of complaints in UNESA's E-Layanan. In subcategory prediction, seven transformer-based and hybrid approaches were tested using complaint data from the 2017–2024 period that had undergone balancing and augmentation processes. Experimental results showed that the hybrid approaches IndoBERT + BiLSTM + BiGRU and IndoBERT + XGBoost delivered the best performance with accuracy reaching 95%, outperforming single or multilingual models. For main subject extraction, the hybrid semantic-topic extraction approach combining IndoBERT embeddings, cosine similarity, and LDA topic analysis achieved a Top-1 Accuracy of 84.21% and a Top-3 Accuracy of 90.08%, also demonstrating thematic consistency of 88.94%. Meanwhile, the complaint urgency level classification using weighted TF-IDF and Logistic Regression achieved 92.54% accuracy with high recall for priority classes. Overall, this study demonstrates that a hybrid approach combining contextual representation, thematic analysis, and statistical classification methods can improve the accuracy and consistency of complaint analysis. The results of this study are expected to serve as a basis for the development of a more structured and effective NLP- and AI-based complaint handling system at UNESA.

Keywords: E-Layanan; IndoBERT; Complaint Subcategory Prediction; Main Subject Extraction; Urgency Level Classification.