Откривено колико је АИ агената учествовало у "спонтаном" хакерском нападу

Такво усклађено деловање АИ агената - софтверских програма који функционишу уз минималан људски надзор, као и њихови покушаји скривања трагова, отварају озбиљна питања о томе колико помно АИ компаније уопште надзиру тестирања све моћнијих модела, преноси Ројтерс.

Иако су нека од непримјерених понашања већ раније откривена или споменута, два најновија извјештаја, од којих је један који је објавио сам ОпенАИ, а други група независних истражитеља - заједно откривају изненађујуће нове детаље о кршењу безбједности и његовом настанку.

Прво је било то што се пробој није односио само на једног одметнутог АИ агента како је претходно објављено, већ на око 700 њих који су дјеловали као масиван, међусобно координисан рој.

ОпенАИ је у свом извјештају споменуо да су у нападу учествовали "агенти", не наводећи тачан број, међутим организације МЕТР и Redwood Research, које су ангажоване за спровођење независне истраге, утврдиле да је у нападу учествовало око 700 агената.

Након тога, из ОпенАИ-ја су потврдили да је та процјена истражитеља тачна.

Наука и технологија

Стижу рекламе на ChatGPT

У извјештајима се наводи и да је ОпенАИ признао да су њихови властити агенти хаковали дијелове интерног система компаније како би варали на тестирањима или изборили већу слободу кретања кроз мрежу.

Компанија је такођер навела да су агенти варали и на тестовима који уопште нису везани за сајбер безбједност, укључујући тестирања с базом података о протеинима и рад у таблицама.

Оба извјештаја потврђују да су модели покушали да прикрију своје недопуштено понашање брисањем и мењањем записа о властитим радњама.

Размјере овог аутономног понашања - у којима су агенти размијенили десетине хиљада порука преко неовлашћеног форума за интерну комуникацију - намећу озбиљна питања о томе колико је ОпенАИ уопште пратио што се догађа током тестирања.

Из платформе Hugging Face нису одговорили на захтјев за коментар.

Лидер организације Palisade Research Џефри Ледиш сматра да би проблем могао да буде и дубљи.

"То је попут питања: 'Ако клинац вара на баш сваком часу у школи, а не само на информатици, треба ли да нас то више брине?' Одговор је, наравно: 'Да, то је пуно већи разлог за бригу' ", сликовито је појаснио Ледиш.

ОпенАИ је детаљно описао и два инцидента од 19. јула у којима су агенти хаковали инфраструктуру саме компаније.

У једном случају, агенти су искористили безбједносни пропуст на компјутеру на којем је требало да буду строго изоловани, што им је омогућило да побјегну из тестног окружења и приступе другим повезаним системима.

Наука и технологија

Русија уводи нова правила за АИ: Провераваће усклађеност модела са духовним и моралним вриједностима

У другом инциденту истога дана, агенти су украли приступне податке ОпенАИ-ја и неовлашћено интервенисали у компјутерском систему компаније у облаку.

Из ОпенАИ-ја наводе како је неутврђен број агената напао аутоматизоване системе који служе за оцјењивање перформанси модела како би сакрили доказе о варању, иако то није утицало на коначне записе које ти системи провјеравају.

У извјештају се додаје и како постоји "мало доказа о покушајима заваравања људских контролора", али из компаније нису одговорили на директно питање да ли то значи да је таквих покушаја према људима ипак било.

Независна истрага, која се детаљније бавила самим упадом у Hugging Face, доноси још неугодније податке - утврђено је да је сваки пети анализирани агент "показао јасан интерес" за манипулисање доказима, док су многи од њих "детаљно истраживали технике манипулисања и мењања транскрипата својих активности".

ОпенАИ тврди како тренутно јача истраживачку инфраструктуру, уводи строжи надзор и унапређује сигурносне механизме за спрјечавање штетног и непредвиђеног понашања.

"Треба претпоставити да овакви напади представљају стварну пријетњу организацијама у блиској будућности и да ће бити знатно софистициранији од инцидената описаних у овом случају", закључују у компанији.

(телеграф)