Pengembangan Aplikasi Assessment Tool Menggunakan Metode Cosine Semantic Similarity  untuk Automatic Scoring Jawaban Tes Uraian  pada Mata Pelajaran Basis Data di SMKN 1 Surabaya

Development of Application Assessment Tool Using Method Cosine Semantic Similarity for Automatic Scoring Courses Answer Description Test on Databaseat SMKN 1 Surabaya

Teknologi informasi dan komputer (TIK) telah mengalami perkembangan yang sangat singnifikan, begitupun dengan dunia pendidikan yang juga telah mengalami proses perubahan dalam sistem pendidikan dan pengajaran. Hal ini menuntut para pendidik untuk terus mengikuti perubahan dan perkembangan teknologi untuk mendukukng proses pembelajaran. Aplikasi assesment tool merupakan aplikasi untuk merancang dan mengaplikasikan penilaian pada sistem ujian tes uraian secara otomatis. Aplikasi tersebut dikembangkan menggunakan metode cosine semantic similarity untuk menerapkan automatic scoring pada jawaban tes uraian. Aplikasi assessment tool dikembangkan menggunakan metode research and development oleh Plomp. Berdasarkan hasil validasi media oleh para ahli, aplikasi assessment tool mendapatkan presentase sebanyak 90% dengan tingkat sangat layak untuk diterapkan pada proses pembelajaran. Hasil akhir penilaian menggunakan metode cosine semantic similarity tidak ada perbedaan yang signifikan dibandingkan dengan penilaian secara manual dikarenkan penilaian manual memperoleh skor rata – rata 85,14 dan penilaian sistem memperoleh skor rata rata 84,91. Aplikasi tersebut juga menerapkan automatic scoring dan memiliki tingkat kesamaan 0,410 dengan sistem manual berdasarkan uji realibilitas dengan metode Kappa. Dapat dilihat dari nilai kesamaan tersebut, menunjukkan bahwa automatic scoring dan penilaian jawaban tes uraian secara manual memiliki kesamaan yang cukup baik sehingga sistem dapat digunakan untuk menilai jawaban tes uraian secara otomatis.

Kata Kunci: Evaluasi, Tes Uraian, Cosine Semantic Similarity.

Information and computer technology (ICT) has experienced very significant development and the world of education, which has also undergone a process of change in the education and teaching system. This requires educators to keep abreast of changes and technological developments to support the learning process. The assessment tool application is applied to automatically design and apply assessments to the test essay test system. The application was developed using the method cosine semantic similarity to apply automatic scoring to the answers to the description test. The application was an assessment tool developed using the method research and development by Plomp. Based on the results of media validation by experts, the application assessment tool gets a percentage of 90% with a very feasible level to be applied to the learning process. The final result of the assessment using the method cosine semantic similarity there is no significant difference compared to the manual assessment because the manual assessment obtained an average score of 85.14 and the system assessment obtained an average score of 84.91. The application also applies automatic scoring and has a similarity level of 0.410 with the manual system based on the Kappa method's reliability test. It can be seen from the similarity value, indicating that automatic scoring and manual assessment of test answers have a fairly good similarity so that the system can be used to answers essays automatically.

Keywords: Evaluation, Essay, Cosine Semantic Similarity.