IMPLEMENTASI METODE BACKPROPAGATION DALAM PENGOLAHAN CITRA TEKS TULISAN TANGAN MENJADI TEKS DIGITAL DAN TEXT-TO-SPEECH PADA SISTEM OPERASI ANDROID SEBAGAI ALAT BANTU KOMUNIKASI TUNA WICARA

IMPLEMENTATION OF THE BACKPROPAGATION METHOD IN PROCESSING HANDWRITTEN TEXT IMAGES INTO DIGITAL TEXT AND TEXT-TO-SPEECH ON THE ANDROID OPERATING SYSTEM TO HELP COMMUNICATE OF SPEECH IMPAIRED PEOPLE

Penyandang tuna wicara umumnya berkomunikasi menggunakan bahasa isyarat, namun juga ada beberapa yang menggunakan media alat tulis. Kasus ini berlaku untuk penyandang tuna wicara yang mengerti dan memahami bahasa tulisan atau abjad dengan baik. Aplikasi ini dibangun untuk membantu komunikasi penyandang tuna wicara dengan memanfaatkan metode backpropagation dalam mengubah tulisan tangan menjadi teks digital. Teks digital tersebut nantinya akan diubah menjadi ucapan (text-to-speech) agar langsung bisa dimengerti oleh lawan bicara. Pengembangan aplikasi ini membutuhkan dua bahasa pemrogaman dalam pengembangannya, yakni python dan Android Studio. Pemrosesan metode backpropagation dan pengembangan model dilakukan pada python dilanjutkan dengan mengekeskpor hasil graph model yang telah dibekukan (freeze) menggunakan bantuan library TensorFlow pada Android Studio untuk melanjutkan pembuatan interface aplikasi sehingga menjadi aplikasi berbasis Android yang dapat viii digunakan pada smartphone berbasis sistem operasi android. Hasil akurasi model yang didapat dalam proses pelatihan sebesar 83,22%. Pengujian aplikasi dengan menggunakan pengujian blackbox testing mendapat hasil sempurna, sedangkan pengujian berdasarkan sampel karakter masukan dari pengguna sebanyak 67 karakter yang mewakili huruf abjad besar, huruf abjad kecil, dan angka mendapat hasil 57 karakter terdeksi dengan benar dan 10 karakter terdeteksi salah.

People with speech impairments generally communicate using sign language, but some use stationery media. This case applies to speech-impaired people who understand written language or alphabetically well. This application was built to help communicate with speech-impaired people by utilizing the backpropagation method in converting handwriting into digital text. The digital text will be converted into speech (text-to-speech) to be understood by the interlocutor. The development of this app requires two programming languages, python and Android Studio. Backpropagation method processing and model development are performed on python. Continue by exporting the results of the graph model that has been frozen using the help of the TensorFlow library in Android Studio. There create an application interface. This application becomes an Android-based application that can be used on smartphones based on the Android operating system. The result of model accuracy obtained in the training process was 83.22%. Application testing using BlackBox testing got perfect results. In x contrast, testing based on a sample of user input characters of 67 characters representing uppercase letters, lowercase letters, and numbers showed that 57 characters were detected correctly, and 10 characters were detected incorrectly.