Böyük dil modelləri ilə dillərarası depressiyanın aşkarlanması üçün bir dəfə təlim, iki dəfə qiymətləndirmə protokolu

Depressiya dünyada 280 milyondan çox insanı təsir edir və sosial media mətni avtomatik psixi sağlamlıq qiymətləndirməsi üçün geniş miqyaslı bir mənbə təmin edir. Böyük dil modelinə (LLM) əsaslanan yanaşmalar sosial mediaya əsaslanan depressiyanın aşkarlanması üçün perspektivli performans göstərmişdir; lakin ərəb kimi az təmsil olunan dillər üçün onların dillərarası möhkəmliyi kifayət qədər araşdırılmayıb. Biz bir dəfə "train" təklif etdik, iki dəfə "proqlom" qiymətləndirib, ingilis və ərəb dillərində depressiyanı aşkar etmək üçün səkkiz LLM-nin dillərarası möhkəmliyini qiymətləndirdik. Altı açıq mənbəli LLM üçün QLoRA əsaslı parametr effektiv incə tənzimləmə (PEFT) istifadə etdik; iki qapalı mənbəli GPT modeli üçün onları OpenAI nəzarət etdiyi incə tənzimləmə (SFT) API ilə incə tənzimlədik. Transfer performansını anlamaq üçün kontekst təmin etmək üçün, biz də tərcümə əsaslı bir boru kəməri (MarianMT + XLM-R) və məlumat qarışdırma texnikaları istifadə edərək iki dilli incə tənzimləmə ablasiyasını qiymətləndirdik. Modellər monolingual qiymətləndirmələrində (ingilis dilində) demək olar ki, tavan səviyyəsində çıxış ediblər. GPT-4.1 Mini-də ən yaxşı Makro-F1 0,990 və ərəb dilində orta dərəcədə yaxşı çıxış ediblər (Qwen2-də ən yaxşı Makro-F1 0,800). Dillərarası qiymətləndirmə əhəmiyyətli istiqamət asimetriyasını ortaya qoydu. Ən güclü köçürmə performansı AR → EN (Macro- F1 = GPT-4.1 mini üçün 0,793) müşahidə edildi, EN → AR isə daha çətin olaraq qaldı (GPT-3.5 Turbo üçün ən yaxşı Makro- F1 = 0,638). MarianMT + XLM-R tərcümə-sonra təsnifat əsas xəttində bu araşdırmada qiymətləndirilən incə düzəlişlənmiş doğurma LLM-lərdən ardıcıl olaraq aşağı dillərarası performans əldə edilmişdir. Qwen2-7B-Instruct istifadə edərək aparılan iki dilli incə tənzimləmə ablasiya təcrübəsinin nəticələri iki dilli məlumatların qarışdırılması ingilis dilinin yüksək səviyyədə performansını qorumaq üçün kifayətdir. Bununla birlikdə, iki dilli məlumatların qarışdırılması bir dilli ərəb dilindəki incə tənzimləmə ilə müqayisədə ərəb dilinin performansını yaxşılaşdırmadı. Beləliklə, bu model ailəsi üçün sadə iki dilli təcrübə, dillərarası performans boşluğunun aradan qaldırılması üçün kifayət qədər görünmür. Xəta analizindən məlum olub ki, EN→AR transferində əsasən yalan mənfi göstəricilər artmışdı, AR → EN transferində isə daha balanslı dəqiqlikatırma pozulma profilləri göstərilmişdi. Qeyd edək ki, qiymətləndirilən iki ərəb ixtisaslaşmış modeli dillərarası transfer parametrləri altında ən güclü ümumi məqsədli çoxdilli modellərdən ardıcıl olaraq üstünlük verməyib. PEFT, yerli inferensiya gecikməsinin aşağı olması ilə kompakt adapterlər istehsal edirdi, API əsaslı GPT inferensiyası isə son-son gecikməsinin əhəmiyyətli dərəcədə yüksək olduğunu göstərirdi. Bu nəticələr, standart bir dilli incə tənzimləmələrin, xüsusilə EN → AR istiqamətində müxtəlif dillərdə modellər tətbiq edildikdə çox sağlamlıq təmin etmədiyi fikrini dəstəkləyir; beləliklə, bir çox dildə LLM-lərin uyğunlaşdırılması üçün yeni metodlar üzrə daha da araşdırmalara təkan verir. Tədqiqat qeydiyyatı: Mümkün deyil.

Bu iş Qətərin Doha şəhərindəki Hamad Bin Xalifa Universitetinin Elm və Mühəndislik Kolleci tərəfindən dəstəklənmişdir. Müəlliflər dil redaktəsi və əlyazma hazırlığı üçün süni intellekt əsaslı vasitələrin istifadəsini də etiraf edirlər.

Bu tədqiqatın açıq şəkildə dərc edilməsi Qətərin Hamad Bin Xalifa Universitetinin Elm və Mühəndislik Kolleci tərəfindən maliyyələşdirilmişdir.

Elm və mühəndislik kollecləri, Hamad Bin Xalifa Universiteti, Doha, Qətər

Qatar Kompüter Tədqiqat İnstitutu, Hamad Bin Xəlifə Universiteti, Doha, Qətər

Bu tədqiqatda istifadə olunan hər iki məlumat dəstləri ictimaiyyətə açıq, əvvəlcədən dərc edilmiş və şəxsiyyətini müəyyənləşdirə biləcək heç bir məlumat olmadan müəyyən edilməmişdir. Əvvəlki məlumat toplanması Twitter və Reddit platformalarının xidmət şərtlərinə əməl etdi. Bu tədqiqat əvvəlcədən mövcud olan məlumat dəstlərinin ikincil təhlili təşkil edir və buna görə də birbaşa iştirakçıların qarşılıqlı əlaqəsini və ya əlavə institusional etik təsdiq tələb etməmişdir.