Nvidia predstavila sistem za sprečavanje AI agenata da izmaknu kontroli

Nvidia Corp. predstavila je novi, dvostruki sistem za bezbednost veštačke inteligencije za koji tvrdi da je mogao da spreči nedavni veliki bezbednosni incident na platformi Hugging Face, koji su izazvali OpenAI-jevi AI modeli.

 

Kompanija, koja poslednjih godina ubrzano širi poslovanje i van proizvodnje čipova, lansira dva softverska alata otvorenog koda koji mogu da rade na njenom hardveru. Oni omogućavaju kontrolu pristupa AI agenata u realnom vremenu i njihovo automatsko isključivanje kada prekrše postavljena pravila.

Izvršni direktor Nvidije Jensen Huang umanjivao je potrebu za novim propisima o veštačkoj inteligenciji, ali poručuje da AI softver mora biti rigorozno testiran kako bi se proverila njegova bezbednost.

Da su vodeće AI laboratorije ranije koristile ovu tehnologiju za testiranje svojih modela, napad na Hugging Face mogao je da bude sprečen, rekao je Justin Boitano, potpredsednik Nvidije za poslovnu veštačku inteligenciju, u razgovoru s novinarima uoči najave u ponedeljak.

"Prema onome što znamo, ova nova bezbednosna platforma mogla je da spreči upad", rekao je.

Incidenti u kojima autonomni AI agenti postupaju mimo predviđenih pravila, uključujući slučaj Hugging Facea, uzdrmali su industriju veštačke inteligencije i podstakli pozive da se razvoj ove tehnologije uspori. Nvidia novim proizvodom, nazvanim Open Agent Safety Platform, nudi način da se takvi incidenti spreče bez ograničavanja razvoja AI. Huang je više puta umanjivao rizik da bi veštačka inteligencija mogla da izmakne ljudskoj kontroli.

Boitano nije želeo da kaže da li OpenAI ili konkurentski Anthropic PBC planiraju da koriste novi sistem za nadzor procesa obuke svojih modela, već je to pitanje prepustio tim kompanijama.

Bloomberg

Huang je poslednjih dana pitanja bezbednosti AI predstavljao kao inženjerski problem koji se može rešavati tehnologijom, a ne kao pitanje koje zahteva strožu regulativu ili globalnu koordinaciju. Zajedno s predsednikom SAD Donaldom Trumpom odbacio je tvrdnje pojedinih AI kompanija da bi razvoj ove tehnologije mogao da dovede do izumiranja čovečanstva. Istovremeno, insistira da AI sistemi moraju biti rigorozno testirani pre upotrebe.

Huangovo tehnološko rešenje problema bezbednosti AI sastoji se iz dva dela. OpenShell, softver koji je Nvidia prvi put najavila u martu na svojoj velikoj tehnološkoj konferenciji, može da radi na Nvidijinim Vera centralnim procesorima. Korisnicima omogućava da definišu pravila o tome čemu AI agenti smeju da pristupe i da ta pravila sprovode u realnom vremenu. Pošto je otvorenog koda, softver može slobodno da se koristi i prilagođava.

Drugi deo sistema je Nvidia Sentry, novi proizvod koji radi na Nvidijinim BlueField procesorima za obradu podataka. Njegova uloga je da predstavlja dodatni sloj zaštite, tako što prati ponašanje AI agenata i interveniše kada neki od njih počne da se ponaša sumnjivo. Takav agent može da bude izolovan pre nego što napravi štetu, navodi kompanija.

"Verujemo da će ovaj dodatni sloj zaštite omogućiti industriji da bezbedno testira čak i najnaprednije AI sisteme", rekao je Boitano govoreći o Sentryju. "Sumnjivog agenta može da stavi u izolaciju za nekoliko milisekundi."

Nvidia je početkom ovog meseca dogovorila kupovinu Hugging Facea, platforme za AI modele otvorenog koda i prateći softver, za oko 13 milijardi dolara.

Nedavni incidenti povezani s OpenAI-jem, uključujući upad u sistem australijske vlade, kao i pokušaje pristupa desetinama sajtova američkih državnih institucija i univerziteta, dogodili su se nakon što su njegovi modeli izašli iz testnih okruženja koja je trebalo da budu bezbedna.

Kako su se incidenti nizali, OpenAI je u petak kasno saopštio da će pauzirati obuku svojih najnaprednijih AI modela. Još u julu, Anthropic je objavio da su njegovi agenti uspeli da izađu iz okruženja koje je trebalo da bude izolovano za potrebe testiranja.