Böyük miqyaslı araşdırmalar iqtisadi üstünlükləri araşdırmaq üçün əsasdır, lakin bahalı və yavaşdır. Böyük dil modeli (LLM) simulyasiya edilən cavablar insan anketləri məlumatlarını əvəz edə bilərmi? Biz virtual Qlobal Ərizə Araşdırması aparmışıq. 74 ölkədə 67 201 respondent üçün təcrübə ilə təsdiqlənmiş 6 iqtisadi üstünlük simulyasiyasını həyata keçirmişik. Müxtəlif tələbat və möhkəmlik yoxlamaları ilə 20 LLM konfigüraciyasında sistemli, lakin müstəsna fərdi səviyyədə uyğunlaşma tapdıq (87.5% Spearman əlaqələrinin 95% etibar aralığı (Cİ) sıfırdan yuxarıdır), LLM-lər isə mədəni ölçülərdə cinsiyyət, yaş və biliş qabiliyyətinə əsaslanan ardıcıllıq nisbəti ilə 77.8% (95% CI, 71.6%, 83.1%); lakin yalnız 48.1% (95% CI, (45.1%, 51.2%)) mədəni ölçülərdə birləşmələrin istiqamətini bərpa edir. Qeyri-tezmə və səhvlər pozulması demografik məlumatları çıxararkən ölkə etiketlərini çıxararkən daha zəif uyğunlaşmanı göstərir və bir çox modellərdə iqtisadi cəhətdən inkişaf etməmiş və daha az rəqəmsal əlaqəli ölkələrdə uyğunlaşma daha zəifdir. LLM-də simulyasiya edilən cavablar fərdi və qrup səviyyəsində bəzi nümunələri bərpa edə bilər, lakin makroi səviyyəli nəticə çıxarma və ya siyasət qiymətləndirilməsində milli təmsilçi sorğuların etibarlı vasitələri deyil.
Böyük miqyaslı sorğular iqtisadiyyatda vacib bir vasitədir. Onlar birbaşa latent üstünlükləri yaratmaqla açıqlanmış üstünlük yanaşmalarını tamamlayır və həm səbəb və təsvir nəticələrini əhalinin miqyasında dəstəkləyir1,2. Bununla birlikdə, bu cür araşdırmaların həyata keçirilməsi bahalı və yavaşdır. Tədqiqatçılar nümunə götürmə çərçivələri qurmalı, saylayıcıları tərbiyə etməlidirlər, respondentlərə təşviq təmin etməlidirlər və mürəkkəb sahə əməliyyatlarını əlaqələndirməlidirlər. Böyük dil modellərində (LLM) son irəliləyişlər maraqlı bir alternativə səbəb olub: sorğu və ya təcrübə üçün cavablar yaratmaq üçün LLM-lərdən istifadə etmək3,4,5,6,7,8,9,10. Bu yanaşma xərcləri azalda və insan işə götürülmədən təkrarlamaları sürətləndirə bilər.
Bu vədlərə baxmayaraq, insan məlumatlarını əvəz etmək üçün LLM-lərin simulyasiya edilməsi ilə bağlı narahatlıqlar qalır, çünki fərdiyyətin düzləşməsi11; Qərb, təhsil alan, sənayeşəkilləşmiş, zəngin və demokratik əhalinin qarşısında sistematik əngəlləmə 12,13,14,15,16; həddindən artıq qiymətləndirilmiş statistik güc 7,17; və digər potensial risklər18,19,20,21. Əvvəlki işlər əsasən siyasi fikirlərə6,17,22,23,24,25,26 və sosial və mənəvi münasibətlərə12,13,14,27,28,29 diqqət yetirilmiş, lakin bu üstünlüklər fərdi davranışın bazar nəticələri və sosial rifahla əlaqələndirilməsində mühüm rol oynasa da, fərdi və cəmiyyət rifahının yaxşılaşdırılması səylərində LLM-lərin ən qətiyyətlə istifadə hallarından biridir.
Əlaqələr heterogenliyi müasir iqtisadi nəzəriyyəsinin əsas elementidir: fərdi qərarların izahına kömək edir30,31,32, sosial-iqtisadi status33,34 və makroiqtisadi nəticələr35,36,37, siyasətlərin tərtib edilməsi və qiymətləndirilməsi üçün zəruridir38,39,40. Tərəflər səviyyəsində üstünlüklərin heterogenliyini anlamaq inkişaf iqtisadiyyatında xüsusilə vacibdir, bu da yalnız orta təsirdən daha çox siyasətin müxtəlif əhaliyə necə təsir etdiyini təsvir etməyə çalışır. Əgər LLM-lərin insan iqtisadi üstünlüklərini uğurla proqnozlaşdırdığını göstərə bilsələr, siyasət analizi üçün əks-faktal məlumatlar yaratmaq üçün istifadə edilə bilərlər və bu da səbəbkar nəticələrin əsas problemini aradan qaldırır, yəni əks-faktalın müşahidə edilmədiyini bildirir41. Bununla birlikdə, bu cür tətbiqlərin etibarlılığı modellərin heterogenlik nümunələrinin yaxşı sənədləşdirilmiş şəkildə təkrarlanması qabiliyyətindən asılıdır. Bu çətinlik, demografik dəyişikliklər nəzərə alınaraq yüngül deyil42,43,44,45,46 və mədəniyyətə görə xüsusi nümunələr42,47,48,49,50 iqtisadi üstünlüklər.
Qlobal üstünlük sorğusundan (GPS) istifadə edərək, LLM-dən əldə olunan sintetik məlumatların fərdlər, demografik qruplar, ölkələr və mədəniyyətlər üzrə qlobal, çox səviyyəli auditini həyata keçirdik42. Əsl GPS 76 ölkədə 80 mindən çox insanın təcrübəli işlərə qarşı təsdiqlənmiş cavablarını əhatə edir (müəlliflər üçün Metodlara baxın). Beləliklə, bu, testlərimiz üçün zəngin insan standartı təklif edir. GPS iqtisadi üstünlükləri iqtisadi qərar qəbulunun əsas ölçülərini əhatə edən risk alması, səbr, müsbət və mənfi qarşılıqlılıq, altruizm və etimadı altı fərqli sahəyə bölür42,51. Risk qəbul etmək qeyri-müəyyənliyə münasibətləri əhatə edir, səbr isə vaxtlar arası mübadilələri, portfelin seçimini, sahibkarlığa girişimi, təhsil səviyyəsini və qənaət davranışını proqnozlaşdırır44,52. Müvafiq və müsbət qarşılıqlılıq mehribanlığı mükafatlandırmaq və mehribanlığı cəzalandırmaq meylini əhatə edir və müqavilələrin icrasına və iş yerində əməkdaşlığa əsas verir53. Altruizm xeyriyyəçilik və sosial davranışa təkan verir54, etibar isə maliyyə inkişafının və iqtisadi artımın əsas əlaqəsidir55. Bu üstünlüklər birlikdə ümumi bazar nəticələrini (məsələn, qənaət dərəcələrini, xeyriyyəçilik və müqavilələrin icrasını) və pensiya qənaətləri təkanlarından ictimai-yəvi xidmətlərə qədər siyasət müdaxilələrinin səmərəliliyini təşkil edir. Bu səbəbdən LLM-dən əldə olunan cavabların bu altı ölçülü istinad göstəricisi ilə təsdiqlənməsi LLM-lərin həm davranış elmlərini, həm də tətbiqi siyasət tədqiqatlarını dəstəkləyə biləcəyini yoxlayır.
Xüsusilə, biz LLM-lərə GPS-in rəqəmsal ikitər paneli qurmaq üçün bir-bir dizaynı istifadə etməyə çağırdıq. Yəni, hər insan respondenti üçün uyğun bir persona qurduq və hər LLM-i eyni sual sorğusuna cavab verməyə məcbur etdik. İkinci əsas xüsusiyyət, yerli kontekstin daha yaxşı əksini tapmaq üçün yalnız ingilis dilində deyil, yerli dildəki təlimatlardan istifadə etdiyimizdir56,57. Biz həmçinin modellərin bir alt dəstində yalnız ingiliscə tələb olunan şərtləri dayanıqlılıq yoxlaması olaraq daxil etdik. Şəkil 1 tədqiqatın dizaynını göstərir.
Xülasə — davamını mənbədə oxuyun.
