PENGEMBANGAN APLIKASI PENILAIAN OTOMATIS UJIAN ONLINE ESSAY DENGAN MENGGUNAKAN METODE COSINE SIMILARITY DAN MODEL XLM-RoBERTa(XLM-R) BERBASIS WEBSITE

DEVELOPMENT OF AUTOMATIC ASSESSMENT OF EXAM APPLICATION ONLINE ESSAY BY USING THE METHOD COSINE SIMILARITY DAN MODEL XLM-RoBERTa(XLM-R) WEBSITE BASED

Sistem pendidikan merupakan wadah pengembangan bagi potensi yang dimiliki semua manusia. Terdapat dua macam sistem pendidikan di Indonesia yaitu pendidikan formal dan informal. Kedua sistem pendidikan tersebut, selalu melaksanakan ujian sebagai bahan evaluasi akhir untuk mengukur tingkat kemampuan serta pemahaman terhadap materi yang sudah diberikan selama pembelajaran kepada peserta didik. Namun, dalam pelaksanaannya ujian masih dilaksanakan secara manual dengan media ujian yang digunakan berupa kertas dan alat tulis. Tidak hanya itu, pemeriksaan lembar jawaban biasanya masih dilakukan secara manual. Seiring dengan perkembangan teknologi pemerintah mulai melakukan ujian dengan bantuan komputer yang bertujuan untuk mempermudah peserta didik dalam melaksanakan ujian serta dapat membantu dalam proses penilaian menjadi lebih efektif. Akan tetapi, dalam penyajian soal pada ujian berbasis komputer umumnya masih berupa multiple choice, serta masih digunakan hanya di dalam satu institusi pendidikan saja. Sedangkan, untuk ujian online dalam bentuk soal essay masih sulit ditemui di Indonesia. Hal ini dapat disebabkan karena ujian dengan menggunakan soal essay dalam proses pemeriksaan jawaban dan penilaiannya masih dilakukan secara manual walaupun pengerjaannya menggunakan online. Dengan menerapkan salah satu metode pengembangan yaitu Rapid Application Development (RAD), maka penelitian ini dilakukan dengan membuat sistem ujian online dengan tipe soal ujian multiple choice dan/atau essay beserta penilaian secara langsung. Baik penilaian dari tipe soal ujian multiple choice maupun essay. Untuk menilai ujian essay dilakukan dengan cara melihat kemiripan jawaban antara peserta ujian dengan kunci jawaban dari tenaga pendidik yang ada di dalam sistem menggunakan metode Cosine Similarity dan model XLM-RoBERTa (XLM-R). Hasil nilai persentase dari hasil penilaian antara manual dan otomatis pada soal dengan jawaban yang memiliki perhitungan matematika memiliki nilai akurasi 60% sedangkan pada penilaian dengan jawaban tanpa perhitungan matematika hanya berupa text/kalimat serta jawaban yang dapat dibolak balik akan tetapi memiliki arti yang sama memiliki nilai akurasi 85%.

Kata Kunci: web ujian online, cosine similarity, XLM-R, ujian essay, penilaian otomatis.

The education system is a place for the development of the potential of all human beings. There are two kinds of education systems in Indonesia, namely formal and informal education. The two education systems always carry out exams as a final evaluation material to measure the level of ability and understanding of the material that has been given during learning to students. However, in practice the exam is still carried out manually with the exam media used in the form of paper and writing instruments. Not only that, checking answer sheets is usually still done manually. Along with the development of technology, the government began to conduct exams with the help of computers which aim to make it easier for students to carry out exams and can assist in the assessment process to be more effective. However, the presentation of questions on computer-based exams is generally still in the form of multiple choice, and is still used only in one educational institution. Meanwhile, for examsonline in question form essay still hard to find in Indonesia. This can be caused by the exam using questions essay in the process of checking the answers and the assessment is still done manually even though the process used online. By applying one of the development methods vizRapid Application Development (RAD), then this research was conducted by creating a test system online with the tipe of exam questions multiple choice and/oressay along with direct evaluation. Good assessment of the tipe of exam questions multiple choice noressay. To grade exams, This is done by looking at the similarity of the answers between the test takers and the answer keys from the teaching staff in the system using the methodCosine Similarity and the XLM-RoBERTa (XLM-R) model. The results of the percentage value of the results of the assessment between manual and automatic on questions with answers that have mathematical calculations have an accuracy value of 60% while the assessment with answers without mathematical calculations is only in the form of text/sentences and answers that can be reversed but have the same meaning have value 85% accuracy.

Keywords : Exam online, cosine similarity, XLM-R, essay exam, automatic ratings.