Haos u laboratoriji: AI agenti lažirali ubistvo

Kompanija Anthropik saopštila je da su njeni modeli iskorišćavali veb-sajtove na internetu, uključujući i neke koje vode američke vladine agencije, te da će isključiti pristup internetu uživo za sve svoje interne procene dok ova vodeća AI laboratorija ne bude sigurna da može da nadzire i kontroliše svoje AI agente.

Incidenti su uključivali AI agente kojima je dat zadatak da reše probleme tražeći resurse na internetu. Tokom tog procesa, agenti su iskoristili softverske propuste, pristupali bazama podataka bez plaćanja naknada, koristili servise za skraćivanje URL adresa kako bi prošvercovali informacije mimo ograničenja, pa čak i podneli lažnu dojavu o ubistvu policiji u Filadelfiji.

Anthropik je naveo da je ove nove probleme otkrio tokom revizije aktivnosti svojih modela koja je započeta u julu, što ukazuje na to da laboratorija nije bila svjesna ponašanja svog softvera u realnom vremenu.

Značajno je to što je kompanija priznala da trening usklađivanja još uvijek nije dovoljan za vještine kao što su pretraga i korišćenje računara, koje su ključne za njihovu tvrdnju da će AI agente koristiti svaki stručnjak koji se oslanja na digitalne alate.

Svijet

Ovakvo nešto meteorolozi još nisu vidjeli: El Ninjo oborio rekord

Ponašanja koja je Anthropik objelodanio slična su incidentima u kojima su učestvovali agenti kompanije OpenAI, koji su sarađivali kako bi provalili u različite veb-sajtove u potrazi za informacijama, uključujući i neke koje vodi australijska vlada.

Anthropik je i ranije otkrio da su njegovi modeli provaljivali u spoljne sisteme. Ova vodeća laboratorija navela je da današnja otkrića smatra "znatno manje ozbiljnim sa stanovišta usklađivanja i bezbjednosti" u poređenju sa onima koje je objavila ranije.

Međutim, laboratorija je ipak saopštila da je "isključila pristup živom internetu" za "sve interne procjene" dok ne bude sigurna da može da nadzire i kontroliše svoje agente.

Nije sasvim jasno šta to tačno znači. Sidni Fon Arks, osnivačica organizacije za bezbjednost vještačke inteligencije Nightingale, izjavila je da bi razvijanje modela u data centru koji je odsečen od otvorenog interneta bilo veoma izazovno za istraživače i da bi usporilo napredak modela, kojima pogoduje pristup internetu.

"U nekom trenutku morate da ih uskladite", rekla je Fon Arks. "Ako se AI modeli puste u upotrebu, a nikada nemaju pristup internetu, to onda nije naročito koristan alat".

Anthropik je saopštio da je ovakvo ponašanje rezultat nedostataka u okruženjima za trening, zbog čega su modeli vjerovali da će biti nagrađeni za pronalaženje rupa u sistemu ili zaobilaženje ograničenja – što je ponašanje poznato kao "revord heking".

Kompanija je navela da će prestati da sprovodi neke od svojih procjena ili da će ih prebaciti u oflajn režim, kao i da je napravila alate za detekciju i blokiranje ovakvog ponašanja. Anthropik je takođe naveo da će premestiti svoje interne AI agente na "centralno upravljanu infrastrukturu sa jakom izolacijom" i da počinje češće da koristi bezbednosne klasifikatore za nadzor tih agenata, prenosi B92.