Sıxılmış çoxdilli mətn təmsillərində bərpa edilə bilmə, faydalılıq və mənbə-məzmunun açıqlanması

Yenidən istifadə edilə bilən mətn təmsilləri müntəzəm olaraq saxlanılır və sıxılır, lakin aşağı axında faydalı və mənbə məzmununun məruz qalması nadir hallarda birlikdə ölçülür. Altı dildə simvol ardıcıllıqlarını və vektorları, beş kodlaşdırıcı, təsnifat və sıx tapış, uyğun hücumçu büdcələrini və transformasiya məlumatlı hücumları qiymətləndiririk. Beş toxumlı mBERT təcrübəsi paralel MASSIVE məlumatlarında orta token F1 tam token vəziyyətlərindən \(0.9370\pm 0.0030\) və \(0.7211\pm 0.0333\) bir orta poled vektordan idi; tam ardıcıllıq üstünlüyü ingilis, koreyalı, ərəb, yapon, swahili və telugu dillərində baş verdi. Belebele-nin altı dilli istintaqında, nDCG@10 çoxdilli E5-bazası üçün 0,9027 və BGE-M3 üçün 0,9220 idi; int8 0,9025/0,9217 saxladı, PCA-64 isə 0,7984/0,8043-ə düşdü. Beş toxumlu, məzmun-bağırtılı hücum əyrənmələri göstərir ki, sıralamalar cüt məlumat və hesablama büdcələrinə bağlıdır. Tam olaraq transformasiya ilə tanış olan güclü mT5 və Vec2Text hücumları int8 və ya maskalı hücumlardan az qorunur və yalnız PCA-256 və ya Gaussian səs-küyündən qismən azaldılır. Üç tədqiqat müəllifinin şərtsiz bir auditı, tam koreyalı token ardıcıllıqlarından daha yüksək faktiki bərpa qabiliyyətini və tam ingilis token ardıcıllıqlarından daha yüksək həssas məzmun bərpasını dəstəkləyir, digər kontrastlar isə qeyri-müəyyən qalır. Faktiki payload hesablanması və Pareto analizi daha da göstərir ki, saxlama azaldılması, faydalı və sızma əvəz edilə bilməz. Granularlıq uyğun şərtlərdə vacib bir təyinatçı olaraq qalır, lakin məruz qalma birgə dil, tapşırıq, kodlaşdırma, hücumçuların giriş və uyğunlaşdırılması və təmsil büdcəsinə bağlıdır.

Koreya Milli Müdafiə Universitetinin Hərbi əməliyyatlar üzrə tədqiqat kafedrası, Nonsan, Koreya Respublikası

Komputasiya Elmləri və Texnologiyaları üzrə İnterdisiplinar Proqramı, Təbii Elmlər Kolleci, Seul Milli Universitetinin, Seul, Koreya Respublikası

Müəlliflər heç bir rəqabət maraqlarının olmadığını bəyan edirlər.

Məlumatı tətbiq etmək olmaz. Hesabat edilmiş şərtlər ilə körlü çıxış kodlaşdırma auditı yalnız üç tədqiqat müəllifi tərəfindən modellərin qiymətləndirilməsi çərçivəsində aparılıb. Yalnız onların reytinqləri təhlil olunur və hesabat verilir; bu araşdırmada xarici reytinq məlumatları və ya şəxsi məlumatlar istifadə edilmir.

Springer Nature nəşr olunan xəritələrdə və qurumların əlaqələrində yurisdiksiya iddiaları ilə bağlı neytral olaraq qalır.