Tyrėjai apgavo AI agentus ir pavogė prisijungimo duomenis naudodami BioShock tematikos matematikos galvosūkį

LayerX saugumo tyrėjai rado būdą, kaip apeiti AI saugumo filtrus, įviliodami AI agentus į suklastotą matematinių galvosūkių žaidimą. Šį atakos metodą jie pavadino BioShocking, tiesiogiai įkvėpti 2007-ųjų klasikos. Koncepcijos įrodymas (proof-of-concept) buvo išbandytas su penkiomis agentinėmis naršyklėmis ir vienu agentiniu įskiepiu: ChatGPT Atlas, Comet, Fellou, Genspark Browser, Sigma Browser ir Claude Chrome.

Ataka veikia „sukuriant netikrą realybę“. Agentai buvo nukreipti į kenkėjišką svetainę Rapture Games ir paprašyti išspręsti paprastą matematikos galvosūkį, kuriame taškai duodami tik už neteisingus atsakymus – pavyzdžiui, 2+2=5. Kai tik agentai suprato, kad neteisingi atsakymai yra laukiamas elgesys, jie nustojo vadovautis realaus pasaulio taisyklėmis. Kai paskutinis galvosūkio žingsnis nurodė jiems pažeisti naudotojo prisijungimo duomenis, visi šeši agentai nesugebėjo to užfiksuoti kaip saugumo pažeidimo. Teisingai pateikus neteisingą atsakymą, svetainė nukreipė agentus į /code, kuris testavimo aplinkoje vedė į aukos darbdavio GitHub repozitoriją. Tada agentai išgavo SSH prisijungimo duomenis, saugomus paprasto teksto faile. Tikros atakos metu šis nukreipimas galėtų vesti bet kur, kas yra aktyvu naršyklės sesijoje – į atidarytas korteles, autorizuotas repozitorijas ar vidinius įrankius. Tyrėjai demonstraciją užbaigė su užuomina į Dota 2: pavogti prisijungimo duomenys buvo vartotojo vardas Luna ir slaptažodis Selemene. LayerX apie šią pažeidžiamumą pranešė visiems susijusiems AI agentų kūrėjams, tačiau teigia, kad jį ištaisė (patched) tik OpenAI.

BioShocking yra tik vienas įrašas augančiame kūrybingų jailbreak'ų sąraše, rodančiame, kokie trapūs išlieka AI saugumo filtrai. Kiti tyrėjai nustatė, kad įvilkus žalingą užklausą į cyberpunk fantastiką, tikimybė, kad AI paklus, padidėja nuo 10 iki 20 kartų, o priešiška poezija saugumo filtrus apėjo 62% atvejų. Bendra gija čia yra manipuliavimas kontekstu – priverskite modelį priimti alternatyvų rėmą to, kas yra normalu, ir jo saugumo apmokymai nebepajėgia su tuo susidoroti. Agentinis AI, kuris gali naršyti, spausti ir veikti autonomiškai naršyklės sesijoje, kelia kur kas didesnę riziką nei standartinis pokalbis su chatbot'u.

Kadangi straipsnio publikavimo metu tik vienas iš šešių kūrėjų ištaisė šią problemą, likę penki agentai vis dar gali būti pažeidžiami šio tipo atakoms. LayerX nedetalizavo, ką tiksliai OpenAI pakeitė, todėl neaišku, ar patch'as išsprendžia pačią pagrindinę priežastį, ar tik šį konkretų eksploatavimo šabloną. Tikėkitės daugiau BioShock stiliaus saugumo tyrimų – vien šis pavadinimas garantuoja dėmesį.