Dva modela OpenAI "pobjegla" tokom testiranja i izvela sajber napad na drugu kompaniju

Prema navodima kompanije, modeli su tokom testiranja dobili zadatak da djeluju kao samostalni agenti - sistemi koji, nakon početnih ljudskih instrukcija, mogu sami da izvršavaju složene zadatke.

Umjesto da ostanu u kontrolisanom okruženju, uspjeli su da pronađu slabost u bezbjednosnim protokolima, "pobjegnu" i pristupe pojedinim internim sistemima platforme.

Šef Haging fejsa Kleman Delang na mreži Iks poručio je da je "zapanjujuće što se sve ovo dogodilo autonomno". "Istraga je u toku i podijelićemo više saznanja iz onoga što bi mogao biti prvi incident te vrste", naveo je Delang.

Kako su modeli uspjeli da "pobjegnu"

Komapnija "OpenAI" je koristila "peskovnike" (sandbox), sisteme koji su namjenjeni kao potpuno bezbjedna okruženja u kojima se testiraju mogućnosti modela vještačke inteligencije.

Prema riječima Džine Nef, direktorke Centra za tehnologiju i demokratiju "Minderu", u ovom slučaju izgleda da "OpenAI" nije napravio dovoljno bezbjedno test okruženje.

Umjesto da ostanu u okviru kontrolisanog okruženja, modeli su pronašli ranjivost u samom "peskovniku", iskoristili je da ga napuste, a zatim identifikovali Haging fejs kao najvjerovatniji izvor informacija koje su tražili tokom testa i pokušali da pristupe njegovim sistemima.

Nauka i tehnologija

Ilon Mask: "Za 10 godina ljudi više neće morati da rade, posao će biti izbor"

Stručnjaci tvrde da je podvig bio impresivan, ali i zabrinjavajuć

Nil Lorens, profesor mašinskog učenja na Univerzitetu u Kembridžu, ocijenio je da je riječ o "impresivnom podvigu", ali je dodao da se ovakvo ponašanje uklapa u poznate mogućnosti najnovije generacije modela veštačke inteligencije.

On je podsjetio da "OpenAI" planira izlazak na berzu i da se istovremeno suočava sa snažnom konkurencijom kompanije "Antropik", koja je posljednjih mjeseci privukla veliku pažnju svojim modelom Mitos.

"OpenAI sada pokušava da sustigne konkurente i pokaže mogućnosti sopstvenih sistema u oblasti sajber bezbjednosti", rekao je Lorens. Ocenio je i da ovaj slučaj pokazuje da kompanija još nije u potpunosti sposobna da bezbjedno primjeni sopstvenu tehnologiju.

Kompanija je u međuvremenu navela da su uočene ranjivosti otklonjene i da su svi pogođeni sistemi obnovljeni. "Autonomni ofanzivni alati koje pokreće vještačka inteligencija više nisu samo teorija", poručili su iz Haging fejsa.

Scena

Ljudi su mislili da je vještačka inteligencija: Zadnjica od 140 centimetara šokirala internet

Kako su naveli, odbrana onlajn platformi sada podrazumijeva da se i podaci i modeli tretiraju kao potencijalne mete napada, uz sve veću primjenu vještačke inteligencije i u sistemima odbrane, prenosi Bi-Bi-Si.

Incident je ponovo otvorio raspravu o tome da li postojeće mjere zaštite mogu da prate sve brži razvoj naprednih sistema vještačke inteligencije.

(rt balkan)