Diqqət variational autoencoder ilə aktivləşdirilmiş birölçülü konvolusiya yaddaşı şəbəkəsi EEG və nitq siqnallarından istifadə edərək hissləri tanımaq üçün

Duyğuların tanınması insanın müxtəlif emosional vəziyyətlərini tanımaqda cəmləşən yeni bir vəzifədir. Bununla birlikdə, bir neçə əvvəlki cəhdlər insanın duyğularını tanımaq və effektiv olaraq onları daha yaxşı performansla təsnif etmək üçün edilmişdir. Bununla birlikdə, insan duyğularının aşkarlanması zamanı yüksək hesablama gücü istehlakı, minimal tanınma dəqiqliyi və müxtəlif modalitə tanınması kimi bir neçə məhdudiyyət baş verib. Buna görə də tədqiqat əvvəlki yanaşmanın məhdudlaşdırmalarını aradan qaldıraraq minimal hesablama mürəkkəbliyi ilə güclü aşkarlama nəticələrini təmin edən Variational Autoencoder-ə malik bir ölçülü Konvolutional Neural Network və Long Short-Term Memory Network (SMAVA-1DCNN-LSTM) təklif edir. Tədqiqatda duyğular daxili fizioloji siqnallar (EEG) və səs tonundan tanınır. Qiymətləndirmə zamanı, nitq və EEG siqnallarının əhəmiyyətli xüsusiyyətləri, çox uyğunluq problemlərini minimuma endirərək təsnifat dəqiqliyi və təlim prosesini artırmaq üçün bir çox xüsusiyyət çıxarma mexanizmləri vasitəsilə çıxarılır. Xüsusilə, öz-özünə modulyar diqqət (SMA) mexanizmi daxil olan multimodal məlumatların vacib hissələrinə diqqət yetirmək üçün modalitetə aid informasiya xüsusiyyətlərini birləşdirməyə kömək edir. Eksperimental nəticələr göstərir ki, SMAVA-1DCNN-LSTM üsulunun duyğuların tanınması üçün müstəsna performans göstərir, 97,70%, F1- balının 97,79%, həssaslıq 97,06%, MCC 0,954, dəqiqlik 98,54% və EAV məlumat dəstləri ilə təlimlərin 90% -i üçün 98,34% -lik xüsusiyyət göstərir.

Müəllif bu elmi əsərin mütəxəssislərinə bu tədqiqat işinin planlaşdırılması və inkişafı zamanı dəyərli və konstruktiv təkliflərinə görə çox böyük minnətdarlığımı bildirmək istərdi.

Elektronika və telekommunikasiya mühəndisliyi kafedrasının direktoru, Dr. Babasaheb Ambedkar Texnologiya Universitetinin Lonere, Maharashtra, 402103, Hindistan

Müəlliflər heç bir rəqabət maraqlarının olmadığını bəyan edirlər.

Springer Nature nəşr olunan xəritələrdə və qurumların əlaqələrində yurisdiksiya iddiaları ilə bağlı neytral olaraq qalır.

Bu məqalə Creative Commons Attribution 4.0 Beynəlxalq Lisenziyası ilə lisenziyalaşdırılmışdır. Bu, orijinal müəllifə və mənbəyə uyğun kredit verdiyiniz, Creative Commons lisenziyasına bir bağlantı verdiyiniz və dəyişikliklərin edildiyini göstərdiyiniz müddətdə istənilən media və formatda istifadə, bölüşmə, uyğunlaşdırma, paylanma və təkrarlanmağa imkan verir. Bu məqalədəki şəkillər və ya digər üçüncü tərəf materialları, məqalənin kredit xəttində başqa bir şey göstərilməsəsə, Creative Commons lisenziyasına daxil edilir. Əgər məqalə Creative Commons lisenziyasında yer almırsa və nəzərdə tutulan istifadəsi qanunvericiliklə icazə verilmirsə və ya icazə verilən istifadəni aşarsa, hüquq hüquqlarının sahibindən birbaşa icazə almaq lazımdır. Bu lisenziyanın nüsxəsini görmək üçün http://creativecommons.org/licenses/by/4.0/ səhifəsini ziyarət edin.