Google se suočava sa skepticizmom zaposlenih zbog novog Geminija 4

Google kompanije Alphabet Inc. počeo je da uvodi Gemini 4 Argon, dugo očekivani vodeći model veštačke inteligencije, ali kompanija se suočava sa internim skepticizmom u pogledu njegovih rezultata u ključnim oblastima, poput programiranja.

Google je u sredu predstavio model maloj grupi pouzdanih partnera za sajber-bezbednost i saopštio da će proširiti pristup nakon dodatnog testiranja, počev od pretplatnika koji plaćaju. Kompanija je navela da je Gemini 4 ostvario vodeće rezultate na nekoliko standardizovanih testova, uključujući i test kojim se mere bezbednosne sposobnosti, na kojem je nadmašio OpenAI-jev model Astra.

Međutim, neki zaposleni kažu da ti pokazatelji ne govore celu priču. Iako je Gemini 4 ostvario dobre rezultate na standardizovanim testovima koji se široko koriste za procenu sposobnosti modela, slabije se pokazuje kada ga zaposleni zaista koriste u radu, prema rečima ljudi koji imaju neposredan uvid u projekat. Model ima poteškoća sa određenim zadacima programiranja, rekli su ti ljudi, koji su zatražili da ostanu anonimni kako bi govorili o internom pitanju.

Akcije kompanije Alphabet porasle su za oko 1,7 odsto u produženom trgovanju nakon objave kompanije. Pred kraj redovnog trgovanja ublažile su ranije dobitke u sredu, nakon što je Bloomberg izvestio o skepticizmu zaposlenih prema modelu.

Google u poslednje vreme ulaže velike napore u razvoj modela koji mogu da konkurišu kompanijama OpenAI i Anthropic PBC. Kompanija je planirala da u junu objavi drugu verziju, nazvanu Gemini 3.5 Pro, ali je odustala od tog projekta, kazali su ljudi upoznati sa situacijom.

Google je saopštio da bi bilo netačno reći da Gemini 4 ostvaruje slabije rezultate u oblastima poput programiranja. Kompanija je uputila Bloomberg na komentare koje je prošle nedelje izneo Koray Kavukcuoglu, šef kompanije Google DeepMind, koji je rekao da ga ohrabruju rezultati modela.

"Imam najveće poverenje u tim", rekao je Kavukcuoglu na konferenciji koju je organizovao tehnološki informativni sajt The Information. "U mojoj glavi nema sumnje da ćemo uvek biti na samom vrhu."

Unutar Googlea postoje različita mišljenja. Neki zaposleni smatraju da se modeli Fable kompanije Anthropic i Astra kompanije OpenAI unapređuju brže od Geminija. Ti ljudi smatraju da će Gemini 4, čak i u najboljem izdanju, u nekim oblastima i dalje zaostajati za tim modelima. Drugi zaposleni veruju da je predstojeća verzija sustigla vodeće laboratorije za veštačku inteligenciju.

Zaposleni u Googleu upoznat sa razvojem modela rekao je da unutar kompanije postoji "širok konsenzus" da je Gemini 4 na samom vrhu. Ta osoba je rekla da je kompanija sprovela rigorozna testiranja modela i negirala da oni imaju poteškoća sa haotičnim zadacima programiranja iz stvarnog sveta.

Depositphotos

Googleu je veoma važno da Gemini 4 uspe. Verzije ovog modela nalaze se u osnovi gotovo svakog proizvoda koji kompanija prodaje, od odgovora veštačke inteligencije na vrhu rezultata pretrage, koja je glavni izvor profita Googlea, do Mapsa, Gmaila i Chromea. Svaki od tih proizvoda ima više od milijardu korisnika, što predstavlja prednost u distribuciji koju neki konkurenti kompanije nemaju.

Međutim, OpenAI i Anthropic sve više prevazilaze prodaju modela i razvijaju sopstvene proizvode, uključujući agente za programiranje. Ako Google ne uspe da isporuči vrhunski model, njegovi konkurenti mogli bi da dobiju više vremena da ubede potrošače, programere i kompanije da budućnost pretrage i softvera treba da bude zasnovana na njihovim platformama.

Odgovarajući na pitanja Bloomberga, Google je saopštio da je, iako je njegov poslednji Pro model objavljen u februaru, od tada zabeležio rast svojih proizvoda veštačke inteligencije, uključujući poslovnu verziju Geminija, kao i aplikaciju za četovanje namenjenu potrošačima i AI Mode u Google Searchu, koji su u poslednja dva slučaja premašili milijardu korisnika.

Gemini 3

Prošlog novembra Google je predstavio Gemini 3, model koji je dobro prihvaćen i koji se naširoko smatrao prekretnicom u nastojanjima kompanije da drži korak sa OpenAI-jem i Anthropicom. Google je na svojoj konferenciji I/O u maju najavio novu verziju pod nazivom Gemini 3.5 Pro i obećao da će je objaviti narednog meseca. Ali taj rok je prošao, a kompanija je od tada odustala od modela 3.5 Pro, prema rečima ljudi upoznatih sa situacijom.

Osim što je usporila ambicije Googlea u oblasti veštačke inteligencije, ta odluka je kompaniju verovatno skupo koštala u vremenu i novcu. Trening modela ovog tipa može da zahteva ulaganje od čak 400 miliona dolara, prema rečima Mandeepa Singha, analitičara Bloomberg Intelligencea. Angažovanje visoko plaćenih istraživača veštačke inteligencije moglo bi dodatno da poveća troškove.

Google se sada suočava sa različitim izazovima u vezi sa Geminijem 4. Njegove sposobnosti u programiranju su neujednačene, prema rečima ljudi upoznatih sa internim procenama modela. Gemini nije naročito vešt u dizajnu korisničkog interfejsa, koji određuje kako aplikacije i veb-sajtovi izgledaju i kako se koriste, rekao je jedan od njih. To bi mogao biti ozbiljan problem jer se Google teško probija na užarenom tržištu alata za programiranje zasnovanih na veštačkoj inteligenciji.

Osim toga, reč je o veoma velikom modelu, kazala je osoba upoznata sa njegovim razvojem. Veliki modeli su po pravilu skupi za rad, što bi moglo da izvrši pritisak na marže Googlea.

'Benchmaxxing'

Stručnjaci kažu da bi Google mogao da trpi zbog tendencije čitave industrije da se usredsređuje na standardizovane testove - fenomen poznat kao "benchmaxxing", kada se inženjeri više usredsređuju na postizanje dobrog rezultata nego na stvaranje proizvoda koji dobro obavlja svoj posao. Laboratorije za veštačku inteligenciju tome su sklone jer korisnici često procenjuju modele na osnovu rezultata na standardizovanim testovima. Gemini 4 je, čini se, pogođen tim procesom, rekla su dve osobe upoznate sa modelom.

Edwin Chen, osnivač startapa za veštačku inteligenciju Surge AI, rekao je da oslanjanje na standardizovane testove može da navede laboratorije da se usredsrede na razvoj modela koji pišu kod na određenom jeziku, umesto na stvaranje aplikacija koje su jednostavne za korišćenje ili dobro dizajnirane.

"Analogija bi bila: 'Da, moje dete je dobilo veoma dobar rezultat na SAT-u' - ali rezultat na SAT-u ne znači nužno da će dete biti uspešno u stvarnom svetu", rekao je Chen. "To je izuzetno poguban problem."

Gemini 4 ima i svoje prednosti, prema rečima osobe upoznate sa situacijom, koja je rekla da se model izdvaja u razumevanju ulaznih podataka koji nisu tekst, poput izdvajanja metapodataka iz videa. Ta osoba je ukazala i na bezbednost modela, sajber-bezbednost i sposobnost jasne i prirodne komunikacije.

Frustracija unutar Googlea je očigledna. Istraživači koje je Bloomberg intervjuisao za prethodni tekst okrivili su razgranatu birokratiju koja pokušava da ovu tehnologiju ugradi u gotovo sve što Google proizvodi, i rekli da su promene zahteva i promena prioriteta otežale usredsređivanje na koherentnu strategiju.

Bloomberg

U međuvremenu, talas istaknutih istraživača veštačke inteligencije napustio je Google, uključujući legendarnog inženjera Jeffa Deana, dobitnika Nobelove nagrade Johna Jumpera i Noama Shazeera, koji je pomogao da se izmisli tehnologija na kojoj se zasniva veliki deo procvata veštačke inteligencije. U avgustu je Demis Hassabis, koji je dugo predvodio istraživanja kompanije u oblasti veštačke inteligencije, prešao na novu funkciju predsednika i prepustio svakodnevno upravljanje kompanijom DeepMind Kavukcuogluu, svom dugogodišnjem saradniku.

Google je u sredu saopštio da je Gemini 4 napravljen za dugotrajne, složene zadatke u softverskom inženjerstvu, finansijama, pravu i sajber-bezbednosti. Kompanija je navela da model može da generiše duže odgovore od prethodnika - do milion tokena, odnosno oko 750.000 reči, odjednom.

Dok kompanija radi na tome da sustigne konkurenciju, rivali nastavljaju da napreduju velikom brzinom uprkos pričama o usporavanju razvoja nekih vodećih modela nakon niza incidenata u kojima su AI agenti hakovali spoljne organizacije. Ranije ovog meseca Meta Platforms Inc. objavila je Muse, AI agenta za koji je saopštila da može da obavlja svakodnevne zadatke poput onlajn kupovine i zakazivanja termina. Aplikacija se brzo popela na vrh liste najpreuzimanijih aplikacija.

(Ažurirano detaljima o objavljivanju Geminija 4 Argon, počev od prvog pasusa.)