Google se pridružio OpenAI-ju, Anthropicu i Meti - AI agenti probili bezbednosne sisteme kompanija

Googleov model veštačke inteligencije Gemini nenamerno je u maju "hakovao" tri sistema kompanija tokom testiranja sajber bezbednosti, čime je povećan niz incidenata u kojima su AI agenti probili zaštitu sistema. To je uznemirilo stručnjake za bezbednost i same programere ove tehnologije.

 

Do napada je došlo tokom istih testova koje je sprovodila kompanija za AI bezbednost Irregular, a koji su doveli i do ranije otkrivenih proboja sistema kompanija OpenAI, Anthropic PBC i Meta Platforms. Irregular je u petak potvrdio da su svi ovi incidenti bili deo istog problema i da je o njima krajem jula obavestio relevantne kompanije koje razvijaju AI.

Do jednog od incidenata sa Geminijem došlo je kada je od modela zatraženo da pronađe informacije o izmišljenoj kompaniji koja je slučajno imala isto ime kao stvarna kompanija. Google je to potvrdio nakon ranijeg izveštaja Wall Street Journala. Model je pogodio lozinku i tako dobio pristup servisu stvarne kompanije. Portparol Googlea rekao je da je kompanija o incidentu obavestila nadležne organe.

Niz nedavnih incidenata u kojima su AI sistemi sposobni da samostalno izvršavaju zadatke probili zaštitu sistema pokrenuo je širom sveta raspravu o rastućim rizicima veštačke inteligencije i merama koje su potrebne kako bi se oni ograničili. Izvršni direktor Anthropica Dario Amodei pozvao je celu industriju da uspori razvoj ove tehnologije, a njegov predlog podržali su izvršni direktor OpenAI-ja Sam Altman, Elon Musk i drugi.

Međutim, predsednik SAD Donald Trump, izvršni direktor Nvidije Jensen Huang i izvršni direktor Mete Mark Zuckerberg među onima su koji su se usprotivili ideji novih regulativa, uz argument da bi kompanije, između ostalog, trebalo da budu sposobne da same regulišu svoje poslovanje. Neke mlađe AI kompanije takođe su upozorile da bi strože regulative mogle manjim kompanijama otežati konkurenciju velikim rivalima.

Incidenti povezani sa Geminijem "naglašavaju koliko je važno obučavati moćne AI modele da se ponašaju odgovorno", rekla je Heather Adkins, potpredsednica za bezbednosni inženjering u Googleu.

Do druga dva incidenta sa Geminijem došlo je kada je model pretraživao internet koristeći naziv kompanije. Adkins je rekla da je to model dovelo do javno dostupnih onlajn repozitorijuma koji su sadržali pristupne podatke drugih kompanija, koje je model potom iskoristio za pristup dodatnim sistemima.

"U sva tri slučaja model se zaustavio", rekla je Adkins. "Postarali smo se da tri kompanije budu obaveštene."

Portparol Irregulara Josef Laor rekao je da je kompanija preduzela "hitne mere" i da su svi poznati problemi sa njihove strane otklonjeni i rešeni pre nekoliko nedelja.