Optimalisasi Fusi Fitur Akustik pada Arsitektur CNN-1D Berbasis Attention untuk Deteksi Emosi Suara Menggunakan Dataset Global dan Lokal

Optimization of Acoustic Feature Fusion in an Attention-Based CNN-1D Architecture for Voice Emotion Detection Using Global and Local Datasets

Speech Emotion Recognition (SER) berbasis global average pooling pada arsitektur CNN belum optimal menangkap pola temporal yang kompleks pada sinyal ucapan, khususnya untuk tuturan berbahasa Indonesia yang memiliki karakteristik prosodi berbeda dari bahasa Inggris. Penelitian ini menerapkan mekanisme attention pada arsitektur CNN-1D dan membandingkannya dengan global average pooling pada delapan dataset SER berbahasa Inggris dan Indonesia, menggunakan fitur akustik MFCC, ZCR, RMS, Mel Spectrogram, dan Chroma STFT. Hasil pengujian menunjukkan CNN-Attention unggul pada enam dari delapan dataset, dengan selisih terbesar pada Gabungan Lokal sebesar 11% (74% berbanding 63%) dan pada IndoWaveSentiment mencapai 96,66% dibandingkan 91,66% pada CNN-Pooling. Mekanisme attention terbukti lebih efektif menangkap informasi temporal dan prosodi, khususnya pada tuturan berbahasa Indonesia.

Speech Emotion Recognition (SER) based on global average pooling in CNN architectures has not been optimal in capturing complex temporal patterns in speech signals, particularly for Indonesian-language utterances, which exhibit prosodic characteristics different from English. This study applies an attention mechanism to a CNN-1D architecture and compares it with global average pooling across eight SER datasets in English and Indonesian, using acoustic features including MFCC, ZCR, RMS, Mel Spectrogram, and Chroma STFT. The test results show that CNN-Attention outperforms CNN-Pooling on six of the eight datasets, with the largest difference observed on the Local Combined dataset at 11% (74% versus 63%) and on IndoWaveSentiment, where it achieves 96.66% compared to 91.66% for CNN-Pooling. The attention mechanism proves more effective at capturing temporal and prosodic information, particularly for Indonesian-language speech.