Böyük dil modelləri tez-tez mürəkkəb riyazi məntiqlə hallucinasiyalardan, təkrarlanan nəsil döngələrindən və mürəkkəb riyazi məntiqləndirilmə zamanı balanssız məntiq effektivliyindən əziyyət çəkir. Mövcud statik təzyiq və açıq müdaxilə üsulları modelin real vaxtlı əsaslandırma vəziyyətinə əsaslanan dekodlama prosesini dinamik şəkildə tənzimləyə bilməz. Bu məqalədə İstifaal Siqaret Öz Tünləmə (İST) çərçivəsi təklif olunur. Deqodlama zamanı iki daxili qeyri-müəyyənlik ölçüsünü sinxron olaraq hesablayır: diqqət dağılımı entropiyası və simvol etibar entropiyası. Bunlar vahid entropiya dəyərini əldə etmək üçün Sigmoid qatlaması vasitəsilə birləşdirilir. Bu dəyər hər bir əsaslandırma mərhələsində risk səviyyəsini miqyaslandırır. Birləşmiş entropiyada bir həddin ötüb çıxması zaman, çərçivə kəşfiyyat rejimini aktivləşdirir. Bu, nümunə götürmə temperaturunu artırır və əsaslandırma döngələrini pozmaq üçün yuxarı p nümunə götürmə aralığını daraldır. Entropiya həddindən aşağı düşəndə, istismar rejiminə keçir. Parametrlər tədricən əsas qiymətlərə qayıdır. Bu, əsaslandırma dəqiqliyi ilə simvol istehlakı arasında balanslaşdırır. Validasiya AIME24, AMC23 və MATH500 də daxil olmaqla bir çox riyazi məlumat dəstində aparılır. 1.5B-dən 7B parametrləri arasındakı modellər sınaqdan keçirilir. Çərçivə təkrarlanan istehsal dərəcəsinin orta hesabla 50% azaldılmasını təmin edir. Bu, məntiq dəqiqliyini qoruyaraq, simvol istehlakını azaldır. Model sırt sümükünün dəyişdirilməsi tələb olunmur. Bu, böyük modellərdə uyğunlaşdırıcı məntiq optimallaşdırılması üçün yüngül yeni yanaşma təmin edir.
Kompüter Elmləri Kolleci, Siçuan Normal Universitet, Çengdu, 610101, Çin
Müəlliflər heç bir rəqabət maraqlarının olmadığını bəyan edirlər.
Springer Nature nəşr olunan xəritələrdə və qurumların əlaqələrində yurisdiksiya iddiaları ilə bağlı neytral olaraq qalır.
Aşağıda elektron əlavə materialın bağlantısı verilir.
Bu təcrübə temperaturun (T) seçilməsinin əsasını və üst-p dinamik tənzimləmə koeffitsiyentini yoxlamaq və parametr tənzimləmə strategiyasının dəqiqliyi maksimum dərəcədə artırmağı təmin etmək məqsədi daşıyır. Bir çox parametrli birgə optimallaşdırma iki əsas çətinliklə üzləşir: parametrlərin birləşmə əlaqələri var və temperaturun sinerji təsiri və top-p nümunələrin paylanmasına əhəmiyyətli dərəcədə təsir göstərir; tam məkan optimallaşdırması üçün təcrübələrin sayı parametr ölçüsü ilə eksponensial olaraq artır, bu da hardware və vaxt resursları məhdudiyyətləri səbəbindən tətbiq etmək çətindir.
Xülasə — davamını mənbədə oxuyun.
