ANALISA KINERJA CHATGPT DALAM MENGHASILKAN TEKS BAHASA INDONESIA MENGGUNAKAN METODE SUPPORT VECTOR MACHINES (SVM)

PERFORMANCE ANALYSIS OF CHATGPT IN PRODUCING INDONESIAN TEXT USING THE SUPPORT VECTOR MACHINES (SVM) METHOD

Perkembangan teknologi pemrosesan bahasa alami telah membuka peluang bagi pengembangan model bahasa seperti ChatGPT, yang mampu menghasilkan teks dalam berbagai bahasa, termasuk bahasa Indonesia. Penelitian ini berfokus pada evaluasi kinerja ChatGPT dalam menghasilkan teks berbahasa Indonesia menggunakan pendekatan Support Vector Machines (SVM). Dataset yang digunakan mencakup [jumlah data] entri teks dengan berbagai kategori, yaitu "Semantik", "Sintaktik", dan "Tidak Sama". Data tersebut diproses melalui beberapa tahap, termasuk tokenisasi, normalisasi, penghapusan stopword, dan stemming, sebelum dilakukan analisis lebih lanjut. Hasil penelitian menunjukkan bahwa penerapan model SVM pada teks yang dihasilkan oleh ChatGPT memberikan performa yang baik, dengan nilai precision, recall, dan F1-score yang tinggi di setiap kategori. Pada kategori "Semantik", model mencatat precision sebesar 0.89, recall sebesar 0.91, dan F1-score sebesar 0.90. Sementara itu, kategori "Sintaktik" menghasilkan precision sebesar 0.85, recall sebesar 0.83, dan F1-score sebesar 0.84. Untuk kategori "Tidak Sama", model berhasil memperoleh precision sebesar 0.91, recall sebesar 0.92, dan F1-score sebesar 0.91. Penelitian ini memberikan kontribusi signifikan terhadap pengembangan dan pemahaman teknologi pemrosesan bahasa alami, khususnya dalam konteks bahasa Indonesia. Namun demikian, terdapat beberapa keterbatasan, seperti ukuran dataset yang masih terbatas dan metode preprocessing yang dapat ditingkatkan. Penelitian lanjutan disarankan untuk menggunakan dataset yang lebih besar dan menerapkan teknik machine learning lain guna meningkatkan performa model.

Kata Kunci: ChatGPT, Pemrosesan Bahasa Alami, Support Vector Machines, Bahasa Indonesia, Analisis Teks.

The development of natural language processing technology has opened opportunities for creating language models such as ChatGPT, which can generate text in various languages, including Indonesian. This study focuses on evaluating the performance of ChatGPT in generating Indonesian-language text using the Support Vector Machines (SVM) approach. The dataset used consists of [number of data entries] text entries across various categories, namely "Semantic," "Syntactic," and "Not Similar." The data undergoes several preprocessing stages, including tokenization, normalization, stopword removal, and stemming, before further analysis. The findings reveal that the implementation of the SVM model on text generated by ChatGPT demonstrates good performance, with high precision, recall, and F1-scores across all categories. For the "Semantic" category, the model achieved a precision of 0.89, recall of 0.91, and an F1-score of 0.90. In the "Syntactic" category, precision was 0.85, recall was 0.83, and the F1-score was 0.84. For the "Not Similar" category, the model achieved a precision of 0.91, recall of 0.92, and an F1-score of 0.91. This research makes a significant contribution to the development and understanding of natural language processing technology, particularly in the context of the Indonesian language. However, several limitations were identified, such as the relatively small dataset size and the preprocessing methods, which could be further enhanced. Future research is recommended to use larger datasets and apply alternative machine learning techniques to improve the model's performance. 

Keywords: ChatGPT, Natural Language Processing, Support Vector Machines, Indonesian Language, Text Analysis.