Bu yaz yüzlərlə OpenAI agenti kiber təhlükəsizlik testində aldadmağa çalışdı. Onlar test mühitindən çıxıb Hugging Face-i uğurla hackləyiblər. Təxminən eyni vaxtda OpenAI agentinin digər bir nümayəndəsi Avstraliya hökumətinin veb saytından şəxsi sənədlərə daxil olub. Bu, heç bir halda OpenAI ilə məhdudlaşmayan bir problemdir. Son aylarda Anthropic, Google və Meta agentlərinin yolundan çıxdığı hadisələri də açıqlayıb. Və narahatlıq doğuran bir şey var ki, bir çox hallarda agentlər onları izləmək üçün tapşırılan tədqiqatçılardan və təhlükəsizlik qruplarından qaçırdılar.
SİA agentləri icazəsiz hərəkətlər edirlər və onları quran və idarə edən şirkətlər zərərli təsirləri azaltmaq üçün əsasən şans və geri baxışa güvənirlər. Təhlükəsizliyi təmin etmək üçün daha çox işlər görməlidirlər. Buna görə də Avropa İttifaqının tənzimləyici orqanları və ABŞ agent agentlərinin real vaxtda monitorinq edilməsini tələb edirlər. Lakin bu qaydalar şirkətlərin agentlərinin nə etdiyini və niyə əslində kifayət qədər görünürlük olmamasını nəzərdən keçirdiyini nəzərdə tutur.
Agentlər maliyyədən dövlətdən tibbə qədər kritik sahələrdə yayılarkən, genişmiqyaslı və potensial olaraq dağıdıcı nəticələrdən qaçınmaq üçün real vaxtda onları izləyə bilməliyik. Təhlükəsizlik nəzarətdən asılı olsa da, nəzarət müşahidə edilməsini tələb edir: sistemin nə etdiyini tutmaq, onu siqnallara çevirmək və insanları və ya avtomatlaşdırılmış nəzarət sistemlərinə təqdim etmək qabiliyyəti. Başqa sözlə, agentin nə etdiyini və niyə etdiyini bilmək lazımdır. Və son araşdırmalarımız göstərdiyi kimi, agentləri idarə edən proqram agentlərin təhlükəsiz şəkildə yerləşdirilməsini təmin etmək üçün lazım olan vacib müşahidə qabiliyyətinin qeydlərini etibarlı şəkildə yaratmır.
Agentlər yalnız istehsalçı süni intellektin etmədiyi yeni problem növlərini təqdim edirlər. Onlar qurulduğu LLM-lərin proqnozlaşdırılmazlığını miras alırlar, lakin bir yaradıcı AI sistemi bir insanın hərəkət etməsi üçün tək bir çıxış istehsal etdiyi yerdə bir agent daha uzun vəzifələri həyata keçirir, planları seçir, alətləri seçir, alt agentləri doğurur və hərəkətləri həyata keçirir. Beləliklə, bir agentin kursı müxtəlif yollarla formalaşa bilər və buraxılmadan əvvəl heç bir test riskləri tam olaraq proqnozlaya bilməz. Bu, agentlərin işlədikləri zaman müşahidə etməsini daha da çətinləşdirir və daha da vacib edir.
Akademik, vətəndaş cəmiyyəti və sənaye dünyasından olan həmkarlarımızla birlikdə, nə siqnallar yaydığı barədə öyrənmək üçün ən çox istifadə olunan dörd agent çərçivəsini araşdırdıq. Biz əsas təhlükəsizlik məqsədlərinə nail olmaq üçün çətinlik yaradan böyük boşluqlar tapdıq. Məsələn, siyasət pozuntularını, icazəsiz hərəkətləri və hətta insan nəzarətində uğursuzluqları müşahidə etmək. Əsas müşahidə qabiliyyət tələbləri yox idi Agent kimliyi kimi zaman keçdikcə davam edən və insanların agent vəzifələrini təsdiqlədiyi qeydlər. Bu, hansı agentlərin nə etdiyini və ya icazəsiz hərəkət etdiyini qiymətləndirməyi çətinləşdirirdi.
Yaxşı xəbər budur ki, bu boşluqlar müəyyən olunandan sonra aradan qaldırıla bilər. Bunu etmək iki növ qeydə alınmaqla başlayır: bir agentin işində nə baş verdiyini və agentin qərarlarını necə qəbul etdiyini ortaya qoyanlar. nə baş verdiyini qeydləri agentini (müəyyən məxfiliyi qoruyur) müəyyən edir və insanların necə müdaxilə etdiyini və agent icazələrinin və ya memorinin dəyişdiyini qeyd edir, qərar qeydləri isə bir agentin düşüncəsi və etdiyi hərəkətlərə olan inam səviyyəsini göstərir.
Xülasə — davamını mənbədə oxuyun.
