Što napredniji AI modeli, to veći problemi za AI

Prošle su dve godine otkako je OpenAI lansiranjem ChatGPT-ja dao vetar u leđa razvoju generativne veštačke inteligencije, a obeležilo ih je nadmetanje za tehnološku nadmoć. OpenAI i njegovi glavni konkurenti, Anthropic, Google i Meta, lansirali su niz naprednih modela veštačke inteligencije, svaki sofisticiraniji od prethodnog. Silicijumska dolina čvrsto veruje da će sa većom računarskom snagom, više podataka i većim modelima toliko unaprediti AI da će ova tehnologija transformisati cele industrije u narednih nekoliko godina. 

Međutim, i pre drugog rođendana ChatGPT-ja počeli su da se javljaju izazovi koji bi mogli da uspore razvoj. OpenAI i druge dve vodeće AI kompanije su se u 2024. godini suočili sa preprekama. U OpenAI-ju i Googleu, pojedini softveri nisu ispunili interna očekivanja, dok su rokovi za dugoočekivani model Anthropica – konkurentski model koji su razvili bivši zaposleni u OpenAI-ju, pomereni nakon što su već bili obelodanjeni. Ako se napredak u razvoju generativne veštačke inteligencije uspori na duže, to će izazvati sumnje u mogućnost ove tehnologije da uopšte ispune ambiciozna očekivanja vodećih inovatora u toj industriji. Pronalaženje načina da se procvat veštačke inteligencije nastavi i uđe u sledeću fazu biće glavni izazov u ovom sektoru 2025. godine. 

Kompanije se suočavaju sa nekoliko prepreka. Sada je teže naći nove izvore visokokvalitetnih podataka za treniranje modela koji potiču od ljudi, a koji su potrebni da bi se napravili napredniji sistemi veštačke inteligencije. Pritom, ni skromna poboljšanja njenih performansi možda neće biti dovoljna da se opravdaju ogromni troškovi razvoja i održavanja novih modela.  

Dario Amodei, izvršni direktor Anthropica, rekao je da treniranje najnovijeg modela košta oko 100 miliona dolara i da očekuje da ta suma dostigne 100 milijardi dolara u narednim godinama. Glavna finansijska direktorka OpenAI-ja Sarah Friar kaže da bi bilo pošteno reći da će razvoj narednog vrhunskog modela koštati milijarde dolara, kao i da i dalje postoji potreba za sve većim i sve skupljim modelima. 

Ova pitanja bude sumnje da li je ulaganje milijardi dolara u AI bilo opravdano, kao i da li se može ostvariti cilj koji ove kompanije uporno žele da postignu. Taj cilj je takozvana veštačka opšta inteligenciju ili AGI, koja bi mogla da parira ili nadmaši ljude u rešavanju širokog spektra zadataka. Izvršni direktori OpenAI-ja i Anthropica su ranije rekli da bi AGI mogao biti spreman već kroz nekoliko godina, a obojica su odbacili nagoveštaje da su naišli na zid.  

Drugi lideri u industriji su pak nešto umereniji. "Mislim da će se teže napredovati", rekao je početkom decembra izvršni direktor Googlea Sundar Pichai u razgovoru tokom prestižne godišnje konferencije DealBook Summit koju organizuje dnevnik "New York Times". Kada je reč o 2025. godini, nema više lakih rešenja, put je sada postao teži, rekao je on.  

U industriji koja se ponosi inovacijama, kompanije na različite načine pokušavaju da poguraju razvoj modela veštačke inteligencije. Više pokušaja je u toku, uključujući osposobljavanje kompjutera da oponašaju način razmišljanja ljudi kako bi bolje rešili problem, razvoj modela koji su vrlo dobri u obavljanju određenih zadataka i treniranje veštačke inteligencije podacima koje je generisala ona sama. 

OpenAI je jedan od prvih zagovornika veštačke inteligencije koja može da oponaša ljudski način rezonovanja kako bi rešavala složenija pitanja i napredovala tokom vremena, posebno kada je reč o pitanjima u domenu matematike, nauke i kodiranja. Kompanija je u septembru predstavila ranu verziju modela nazvanog 01, koji to postiže tako što koristi više vremena za obradu i proračune pre nego što odgovori na pitanje korisnika. OpenAI je predstavio u decembru naprednu verziju ovog modela koji je izvršni direktor ove kompanije Sam Altman nazvao na društvenim mrežama najpametnijim modelom na svetu. 

Kompanija toliko veruje u model 01 da je počela da nudi pretplatu po ceni od 200 dolara koja, između ostalog, uključuje pristup verziji koja može da koristi još veću računarsku snagu da bi kvalitetnije odgovorila na upite. 

Nekoliko drugih kompanija, među kojima su Google i proizvođač softvera Databricks, rade na sopstvenim verzijama ove metode koja se često naziva "test-time" ili "inference-time" računanje, a odnosi se na optimizaciju u fazi u kojoj već obučen model koristi prethodno naučene informacije za donošenje predviđanja i zaključaka na osnovu novih podataka. Jonathan Frankle, šef naučnog tima za veštačku inteligenciju u Databricksu, kaže da očekuje da će ova metoda postati znatno više prisutna u industriji. Osim što će pružati bolje odgovore, mogla bi da učini razvoj AI modela ekonomski isplativijim tako što će se manje trošiti u fazi razvoja, a više u fazi kada modeli već budu u upotrebi i generišu prihod. 

Razmišljanja o tehnološkim izazovima i mogućnostima neće rešiti pitanje sve veće potrebe AI za podacima. Kompanije se sve više okreću veštački generisanim podacima koji se javljaju u različitim oblicima, uključujući kompjuterski generisani tekst koji treba da oponaša sadržaj koji su kreirali ljudi.

Bloomberg

 

Nathan Lambert, naučni istraživač za oblast veštačke inteligencije u Institutu Allen, kaže da su on i njegove kolege, dok su razvijale model Tulu 3, davali uputstva AI modelu da generiše pitanja u skladu sa specifičnim karakteristikama određenih tipova korisnika. Tražili su od njega, na primer, da se pretvara da je astronaut i osmisli matematički problem specifičan za to zanimanje, na osnovu koga bi postavio pitanje koliko će Mesec biti udaljen od Sunca u određenom trenutku tokom dana. Takva pitanja su uneli ponovo u model, a zatim upotrebili i pitanja i odgovore kako bi još bolje podesili sistem. Iz nekog razloga, ova tehnika je poboljšala matematičke sposobnosti modela Tulu 3. "Ne znamo potpuno zašto to funkcioniše, i to je ono što je uzbudljivo kod veštački generisanih podataka", kaže Lambert. 

Veliki jezički modeli, poput AI softvera koji pokreće ChatGPT, osmišljeni su tako da upotrebe reči koje ljudi koriste da bi komunicirali, tako da treniranje nekog AI sistema za proizvodnju sadržaja neće sam po sebi doneti poboljšanja, smatra Frankle. Lambert kaže da je važno filtrirati podatke koje generiše AI kako bi se izbegla ponavljanja i proverilo da li su tačni. Pojedini istraživači su, takođe, izrazili zabrinutost da bi nekritičko korišćenje takvih podataka za treniranje moglo da naškodi performansama modela (istraživači tu pojavu zovu kolaps modela). 

Fei-Fei Li, jedna od direktora Instituta za humanističku veštačku inteligenciju Univerziteta Stenford i suosnivač AI startapa World Labs, očekuje da će se AI kompanije sve više oslanjati na veštački generisane podatke. Ona je ukazala da se u razvoju tehnologija autonomnih vozila, na primer, dugo oslanjalo na podatke prikupljene tokom simuliranja vožnje. "U tehnološkoj infrastrukturi AI, podaci su važni koliko i algoritmi", kaže Li. "Veštački generisani podaci igraju vrlo važnu ulogu." 

Problem skaliranja ogromnih modela opšte namene posebno su relevantni ako je cilj da se izgradi AGI.  Međutim, istorijski gledano AI je, međutim, bio osmišljen tako da se fokusira na jedan zadatak, a Frankle iz Databricksa kaže da ima mnogo prostora za inovacije na tom planu. On je sve u svemu  optimističan. Frankle dovodi u vezu ono što se sada dešava u AI industriji sa događajima tokom evolucije industrije čipova, kada su inženjeri dostizali ono što je delovalo kao nepremostiva prepreka, da bi zatim kreirali inovacije poput višejezgarnih procesora, koprocesora i paralelne obrade, koje su omogućile tehnologiji da dalje napreduje. 

 "Kada se osvrnemo na vreme poluprovodnika, vidimo da se išlo iz inovacije u inovaciju i da se jednostavno guralo napred", kaže on.

- U saradnji sa Shirin Ghaffary.

Trenutno nema komentara za vest. Ostavite prvi komentar...

Ostavi komentar