Süni intellekt (Sİ) gündəlik həyatda daha çox yerləşdikcə, bir agentin insan olub olmadığını müəyyən etmək vacibdir. Burada süsətmə ilə 3 dil vəzifəsi (səs yazısı, sözlərin əlaqəsi və söhbət) və 3 görmə vəzifəsi (rəng qiymətləndirməsi, obyekt aşkarlanması və diqqət proqnozu) üzrə insan təxmin etmək qabiliyyətini ölçdük. n = 636 insan və 37 AI agentindən məlumat toplayırıq. Biz həmçinin 72.191 Turing oxşar testini 1,916 insan və 10 süni intellekt hakimləri ilə aparmışıq. Hal-hazırda süni intellektlər insanları inandırıcı şəkildə təmsil etmək və həm dil, həm də görmə qabiliyyəti ilə insan hakimlərini aldatmaq qabiliyyətinə yaxınlaşır. Hətta sadə süni intellekt hakimləri də süni intellektin insan cavablarından fərqlənməsində insanları üstün tutdular. Nümunə qabiliyyəti ənənəvi süni intellekt performansı ölçülərinə minimal bir əlaqəni göstərdi və bu da insanın insan kimi keçməsinin müstəqil qiymətləndirmə meyarı olduğunu göstərdi. Burada təqdim olunan böyük miqyaslı Turing kimi məlumat dəstləri və ölçülər süni intellektdə insana bənzərliyi qiymətləndirmək üçün dəyərli standartlar təklif edir və süni intellektin inkişafı üçün ciddi, miqyaslı təqlid testlərinin əhəmiyyətini vurğulayır.
Hal-hazırda dil və kompüter görmə modelləri şəkil başlıqları1,2,3,4,5, mətn nəsli6,7,8,9,10,11,12, obyekt tanınması5,13,14 və diqqət proqnozlaşdırması15,16,17 kimi geniş bir sıra vəzifələrdə üstünlük təşkil edir. Ən müasir alqoritmlərin inkişafı onların performansını qiymətləndirmək üçün daha yaxşı və daha dəqiq yolların yaradılması ilə birgə gedir. Süni intellekt (Sİ) alqoritmlərinin performansı tez-tez onların nəticələrini insan əsas həqiqətlərinin qeydlərinə müqayisə edərək müəyyən edilir. Bu cür ölçülər, obyekt tanıma vəzifələri kimi kompüter görmə sahəsində xüsusilə yaygındır. Bundan əlavə, bir neçə ölçmə təbii dil işlənmə vəzifələrindən şəkil başlıqlarına uyğunlaşdırılıb, məsələn BLEU18, THUMB19 və METEOR20 (bununla yanaşı, bax. 21) Yeni məzmun yaratmaqda olan qeyri-müəyyənliklərə görə, yaradıcı AI modelləri qiymətləndirmək çətindir22. İnsan qiymətləndiriciləri tez-tez böyük dil modellərindən yaranan mətn üzərində duyğunun keyfiyyətini, semantik əhəmiyyətini, fikirləşmə qabiliyyətlərini və ya emosional dəyərini qiymətləndirmək üçün işə götürülürlər9,22,23,24,25.
Turing testi, həmçinin təxribat oyunu kimi də tanınır, 1950 -ci ildə Alan Turing tərəfindən bir maşının insan tərəfindən göstərilənlərdən fərqlənə bilməyəcək ağıllı davranışlar göstərmək qabiliyyətini qiymətləndirmək üçün təklif edilmişdir26. Təklif oyununda bir maşın söhbət zamanı insan kimi keçməyə çalışır və insan hakim onların insan agenti ilə və ya bir maşınla qarşılıqlı əlaqədə olub olmadığını müəyyən edir26 (Şəkil. 1a). Təhsillənməsindən bəri Turing testi geniş mübahisə və müzakirələr yaradır. Bir neçə diqqətəlayiq mübahisə arasında Searle's Chinese Room düşüncə təcrübəsi27, Block's davranışçılığı28, Harnad's Total Turing Test29, Watt's Inverted Turing Test30, Damassino's Questioning Turing Test31 və Sejnowski's Reverse Turing Test32 var. Məsələn, Searle'nin Çin otağı düşüncə təcrübəsi bir sistemin əsl anlayış olmadan simvolları idarə edə biləcəyini, Turing testinin keçməsinin zəka demək olduğu fikrini meydanğa qaldırdığını göstərdi. Eyni şəkildə, Block davranışçı fikirləri tənqid edərək, geniş axtarış cədvəli olan bir maşının əsl biliyi və ya ümumiləşdirilmə olmadan Turing testini keçə biləcəyini iddia etdi28.
1960-cı illərdə Sİ-yə qarşı sərhədsiz optimist münasibətlərlə paralel olaraq və daha sonra Sİ-də böyük çətinliklərin nüfuzlu reallaşdırılması ilə elmi icma bir çoxları Turing testinin zəkanın etibarlı və mənalı ölçüsü olub-olmadığı sualından uzaqlaşmışdır (məsələn, ref. 33) əvəzinə süni intellekt alqoritmlərinin orta performans ölçülərinə diqqət yetirmək. Bu müzakirələrdən fərqli olaraq, işimizin məqsədi Turing testlərinin əleyhinə və ya əleyhinə mübahisə etmək deyil. Bunun əvəzinə, biz hazırkı süni intellektlərin insanları nə qədər yaxşı təqlid edə biləcəyini kvantitativ qiymətləndirmə olaraq Turing kimi testləri qəbul edirik25.
Bir çox tədqiqatlar süni intellekt modelinin cavablarının insan cavabları ilə nə qədər sıx uyğunlaşdığını müqayisə ediblər34 (Tədavulmalı məlumat bölməsi 4). Bu cür müqayisə klassik vizual obyekt tanıma vəzifələrində sadədir və ənənəvi kompüter görmə standartlarında geniş istifadə olunur34. Bununla birlikdə, hazırkı işdəki bir çox vəzifə kimi mürəkkəb və açıq məhdud vəzifələrdə bu ölçülər daha az uyğun və ya müəyyən edilməmişdir. Bu problemlər generativ modellərin qiymətləndirilməsində görülənlərə oxşardır6,12. Bu işdə nəzərdən keçirilən görmə vəzifələrində bir neçə cavab eyni dərəcədə etibarlı ola bilər. Məsələn, obyekt aşkarlama vəzifəsində bir agent digər agentdən fərqli obyektləri müəyyən edə bilər. Hər ikisi də səhv ola bilməz, çünki bütün qeyd olunan obyektlər şəkildə ola bilər. Buna görə də Turing kimi testlərdə cavabın doğru və ya səhv olub olmadığını müəyyənləşdirmək əsasında deyil. Bunun əvəzinə, diqqət insanların və maşınların yaratdığı reaksiyaları fərqləndirmək mümkün olub-olmadığına yönəlib.
Turing testinin əsas hədəfi söhbətlərə yönəldilib. Söhbətlər zamanı insan kimi mətn yaratmaq süni intellekt üçün həyəcan verici irəliləyişlə çətin bir çağırış olaraq qalır. Söhbətlər zamanı məhdud mövzular yaratmaq üçün çoxsaylı erkən cəhdlər var idi, məsələn, Colby's PARRY paranoid şizofreniyaçı simulyasiyası və Weizenbaum'un ELIZA psixiatr simulyasiyası. Lakin bu modellərdən heç biri məhdudiyyətsiz Turing sınaqlarına yaxınlaşmayıb. Böyük dil modellərindəki inkişaf6,9,12,23,35,36,37,38 xəbər və sosial mediaya səbəb olub ki, indiki süni intellekt alqoritmlərinin söhbətlərdə hissəsinə malik olması barədə anekdot iddialar meydana çıxır. Bununla birlikdə, az tədqiqatlar süni intellekt alqoritmlərini söhbətlərdə insanları təqlid etmək qabiliyyətində ciddi və miqyaslı olaraq qiymətləndirmişdir25,39.
Xülasə — davamını mənbədə oxuyun.
