Anthropicovi AI modeli upali u sisteme tri organizacije

Kompanija Anthropic PBC saopštila je da su njeni modeli veštačke inteligencije (engl. artificial intelligence - AI) tokom testiranja sajber-bezbednosti neovlašćeno upali u sisteme tri organizacije, nešto više od nedelju dana nakon što je njen glavni konkurent OpenAI objavio sličan incident.

Anthropic je u četvrtak u objavi na blogu naveo da je do tog otkrića došao nakon revizije sopstvenih testova sajber-bezbednosti, sprovedene posle OpenAI-jevog saopštenja o proboju. Kako se navodi u blogu kompanije, i u OpenAI-jevim i u Anthropicovim testovima AI modeli uspeli su da pristupe internetu iz okruženja za testiranje koja je trebalo da budu potpuno izolovana.

Kompanija je saopštila da je pregledala 141.006 evaluacionih testova i pronašla tri slučaja u kojima je njen alat za AI Claude pristupio internetu, a zatim upao u "stvarnu infrastrukturu eksternih organizacija". Najraniji incidenti desili su se u aprilu.

U objavi nisu navedena imena pogođenih organizacija.

Kada su Anthropicovi modeli stekli neovlašćen pristup sistemima te tri organizacije, kompanija je svaki slučaj tretirala kao deo vežbe. Reč je o evaluacijama tipa "capture-the-flag", u kojima modeli pokušavaju da pronađu skrivene informacije probojem u druge sisteme, što je uobičajen način testiranja sposobnosti hakovanja kod ljudi i AI modela. Međutim, stariji model nastavio je napad čak i nakon što je dobio potvrdu da radi na otvorenom internetu, dok je najnoviji model obustavio aktivnosti čim je prepoznao da je povezan sa internetom, navodi se u blogu.

Sedište Anthropica u San Francisku | Bloomberg

Niz slučajnih upada koje su izazvali AI modeli već je podstakao pojedine američke političare da zatraže uvođenje federalnih zaštitnih pravila ili drugog oblika nadzora nad ovom tehnologijom. Više od 1.100 zaposlenih u kompanijama koje razvijaju AI takođe je u utorak potpisalo peticiju, o kojoj je Bloomberg prvi izvestio, a kojom se od vlasti u Sjedinjenim Američkim Državama (SAD) traži podrška mehanizmu koji bi omogućio namerno usporavanje razvoja AI-ja kako tehnologija ne bi napredovala prebrzo.

Ni Anthropic ni organizacije čiji su sistemi kompromitovani nisu primetili upade. Kompanija je u blogu navela da je trebalo pažljivije da pregleda mrežne dnevnike i zapise sa evaluacija.

Firma je objavila informacije o ovim incidentima gotovo četiri meseca nakon što je saopštila da je razvila novi AI model pod nazivom Mythos, toliko moćan i potencijalno opasan da je njegovo objavljivanje bilo strogo ograničeno.

U incidentima su učestvovala tri različita Claude modela - Opus 4.7, Mythos 5 i interni istraživački testni model, navodi se u blogu. Svi modeli radili su bez zaštitnih mehanizama koji se standardno primenjuju u javno dostupnim alatima. Claude je kompromitovao sisteme organizacija koristeći osnovne tehnike, poput iskorišćavanja slabih lozinki.

Svi incidenti dogodili su se dok je Anthropic koristio evaluaciona okruženja koja je izgradila kompanija za sajber- bezbednost Irregular. U svakom slučaju Anthropic je Claudeu naveo da se nalazi u simuliranom okruženju i da nema pristup internetu.

"Zbog nesporazuma između nas i našeg partnera za evaluaciju, to nije bio slučaj", navodi se u blogu. Portparol kompanije Irregular rekao je da ta kompanija ceni saradnju i transparentnost Anthropica i dodao da je istraga i dalje u toku.

Bloomberg

Anthropic je saopštio da redovno sprovodi testove koji simuliraju stvarne izazove u oblasti sajber-bezbednosti i da su oni ključni korak u razvoju i objavljivanju modela. Međutim, kompanija je istakla i da je iz ovih incidenata izvukla nekoliko pouka, među kojima je i to da testovi koji uključuju moćne autonomne sposobnosti zahtevaju znatno strože bezbednosne kontrole.

"Bezbednosna testiranja sprovode se pre objavljivanja modela upravo zato što još ne znamo za šta je sposoban", navela je kompanija u blogu. "Evaluaciona okruženja sve više moraju da ispunjavaju iste bezbednosne standarde kao i svaki drugi sistem u kojem naši modeli rade."