Klasterisasi Topik dan Analisis Sentimen Komentar Masyarakat di Media Sosial Terkait Kinerja Pemerintah Kota Malang dengan Metode Machine learning

Topic Clustering and Sentiment Analysis of Public Comments on Social Media Toward the Performance of The Malang City Goverment using Machine Learning

Media social merupakan ruang utama Masyarakat dalam menyampaikan opini terhadap kinerja pemerintah daerah, namun volume nya yang besar dan adanya fenomena code-mixing menyulitkan proses identifikasi isu dan Setiment secara manual. Penelitian ini bertujuan mengelompokkan komentar masyarakat terkait kinerja Pemerintah Kota Malang ke dalam topik-topik yang bermakna serta menganalisis distribusi sentimen pada setiap topik. Pendekatan yang digunakan adalah klasterisasi berbasis sentence embedding yang dipasangkan dengan reduksi dimensi UMAP dan algoritma klasterisasi berbasis densitas HDBSCAN. Dari scrapping 6.795 komentar mentah dari TikTok dan X, diperoleh 3.957 komentar setelah tahapan preprocessing. Penelitian ini mengeksplorasi dua model embedding yaitu IndoSBERT (monolingual) dan MPNet multilingual, serta mengevaluasi pengaruh normalisasi Bahasa Jawa terhadap kualitas klasterisasi pada data yang mengandung code-mixing Jawa-Indonesia. Hasil menunjukkan bahwa normalisasi Bahasa Jawa menurunkan kualitas klasterisasi pada model monolingual, namun meningkatkan kualitas klasterisasi pada model multilingual, dengan konfigurasi terbaik MPNet dengan normalisasi yang menghasilkan 12 topik, intra-cluster semantic coherence 0,77, topic diversity 0,91,  DBCV 0.40, dan noise ratio 10%. Untuk klasifikasi sentimen, fine-tuning IndoBERT dengan class weighting dibandingkan dengan SVM+TF-IDF+class weighting untuk menangani ketidakseimbangan kelas (86,92% negatif, 13,08% positif). IndoBERT dengan class weighting menghasilkan F1-Macro sebesar 0,6905, lebih tinggi dibandingkan SVM+Class Weight sebesar 0,6690. Analisis distribusi sentimen menunjukkan bahwa seluruh topik didominasi sentimen negatif (78–95%), dengan isu banjir dan drainase sebagai topik yang paling banyak dibahas masyarakat. Penelitian ini menunjukkan bahwa pemilihan model embedding dan strategi preprocessing harus dipertimbangkan secara terintegrasi, khususnya untuk data berbahasa daerah dengan fenomena code-mixing.

Kata kunci: klasterisasi topik, analisis sentimen, embedding semantik, HDBSCAN, IndoBERT, code-mixing, media sosial, kinerja pemerintah

Social media is a primary space for the public to express opinions on local government performance, yet its large volume and the presence of code-mixing make manual issue identification and sentiment identification difficult. This research aims to cluster public comments related to the performance of the Malang City Government into meaningful topics and analyze the sentiment distribution within each topic. The approach used is sentence embedding-based clustering paired with UMAP dimensionality reduction and the density-based HDBSCAN clustering algorithm. From 6,795 raw comments scraped from TikTok and X, 3,957 comments were obtained after the preprocessing stage. This research explores two embedding models, namely IndoSBERT (monolingual) and multilingual MPNet, and evaluates the effect of Javanese normalization on clustering quality for data containing Javanese-Indonesian code-mixing. The results show that Javanese normalization decreased clustering quality on the monolingual model, but improved clustering quality on the multilingual model, with the best configuration—MPNet with normalization—producing 12 topics, an intra-cluster semantic coherence of 0.77, a topic diversity of 0.91, DBCV 0.40, and a noise ratio of 10%. For sentiment classification, fine-tuned IndoBERT with class weighting was compared with SVM+TF-IDF+class weighting to address class imbalance (86.92% negative, 13.08% positive). IndoBERT with class weighting achieved an F1-Macro of 0.6905, higher than SVM+Class Weight at 0.6690. Sentiment distribution analysis shows that all topics were dominated by negative sentiment (78–95%), with flooding and drainage issues being the most discussed topic among the public. This research demonstrates that the selection of embedding models and preprocessing strategies must be considered in an integrated manner, particularly for regional-language data exhibiting code-mixing phenomena.

Keywords: topic clustering, sentiment analysis, semantic embedding, HDBSCAN, IndoBERT, code-mixing, social media, government performance