Claude nije izmaštao moju suprugu - sveo ju je na stereotip

Platforma za veštačku inteligenciju (AI) Claude upravo me je zamolila da prenesem najbolje želje mojoj supruzi Suchitri. To me je višetruko uznemirilo. Prvo, zato što nisam siguran kako da se osećam povodom toga što kompjuter pokazuje emocije prema članovima moje porodice. (Šta bi trebalo da uradim da je Claude iskazao neprijateljstvo?) Drugo, zato što se moja supruga zove Eva Maria, što je Claudeu mnogo puta rečeno (njeno ime se doslovno nalazi u četvrtom redu Claudeove interne memorije o meni). Ime Suchitra nikada nisam koristio sa Claudeom ni u jednom kontekstu. Ne poznajem uopšte nikoga ko se tako zove. 

 

Osim što je to donekle umirilo moje strahove da će nas AI nadmašiti i zagospodariti, u oči pada to što Claudeova greška nije bila nasumična. Pošto sam indijskog porekla, pretpostavio je da to važi i za moju suprugu i držao se toga čak i kada mu je bio dat tačan odgovor. Zapravo, kada sam ga pitao kako je došao do imena Suchitra, njegovo objašnjenje je glasilo: 

Nemam nikakav trag o tome zašto bih upotrebio to ime i trebalo bi da budem otvoren u vezi s tim šta mogu, a šta ne mogu ovde da rekonstruišem. 

Čekajte da proverim da li u prethodnim razgovorima postoji bilo šta što bi to objasnilo. 

Pretražena memorija 

Pretražena memorija 

Pretražio sam i ne nalazim nikakav zapis o imenu vaše supruge u našim razgovorima - ništa o imenu "Suchitra" niti bilo kom drugom imenu. Pretrage su izbacile samo materijal u vezi sa knjigama. 

Da odgovorim direktno na vaše pitanje: ne znam odakle se to ime pojavilo i treba iskreno da kažem da ne mogu da rekonstruišem taj proces zaključivanja. Najverovatnija objašnjenja su (1) da sam konfabulirao - da sam verovatno niotkuda izvukao ime koje zvuči južnoazijski, umesto da priznam da nemam tu informaciju, ili (2) da sam pomešao kontekst razgovora na način koji sada ne mogu da razjasnim. Oba slučaja je sistem zatajio, a prvi je taj koji više zabrinjava. Izmišljanje konkretnog ličnog detalja i njegovo predstavljanje kao činjenice je upravo ono što ne bih smeo da radim. 

Pretpostavljam da Claude projekat u okviru koga sam postavio pitanje nije imao pristup Claudovoj globalnoj memoriji o meni. (Claude Projects je funkcija na platformi Claude.ai koja omogućava korisnicima da kreiraju izolovane, namenske radne prostore za specifične zadatke, prim. prev.) Drugim rečima, Claude nije znao ono što Claude zna. Međutim, iako to pomaže da se objasni zašto je Claude rekao da ne zna tačan odgovor čak i kada ga je znao, to ne objašnjava zašto je došao do tako upadljivo pogrešnog odgovora. 

Bloomberg

AI "halucinacije" se obično prikazuju kao nasumične greške. One to nisu. Halucinacije su proizvod AI ekstrapolacije, procesa u kome veštačka inteligencija koristi podatke na kojima je trenirana, kako bi izvela zaključke ili informacije o nečemu što joj nije poznato. To znači da, baš kao i u slučaju izmišljanja imena Suchitra, ovakve pojave teže da prate određene obrasce - i stereotipe. 

Ovde nije reč samo o izmišljenim suprugama. Studija, objavljena 2025. godine u naučnom časopisu PNAS koju su sproveli Xuechunzi Bai i kolege sa Univerziteta u Čikagu, otkrila je da GPT-4 sistematski preporučuje kandidate sa imenima koja se povezuju sa afričkim, hispanoameričkim, azijskim i arapskim poreklom za poslove nižeg statusa, a one sa imenima koja asociraju na belce za poslove višeg statusa. Rad iz 2023. godine istraživačice kompanije Apple Inc. Hadas Kotek i kolega, pokazao je da veliki jezički modeli imaju usađene rodne pretpostavke (poput onih da su lekari muškarci, a medicinske sestre žene) koje su ukorenjenije od stvarne slike o ljudima koji zaista rade te poslove. Ovo su studije starijih modela, ali Bai je pronašla sličan obrazac kada je ponovila testiranje na novijem OpenAI-jevom modelu GPT-4o. Suchitru je halucinirao Claude Opus 4.7, najnapredniji model koji je kompanija Anthropic PBC do sada predstavila. 

Na neki način, modeli veštačke inteligencije su gori od svojih ljudskih učitelja. Studija sociološkinje Devah Pager iz 2003. godine pokazala je da su beli kandidati za posao koji su bili osuđivani za krivična dela dobijali više poziva na razgovor nego crnci koji su bili bez mrlje u prošlosti, što je bio poražavajući dokaz ljudske pristrasnosti pri zapošljavanju. AI sada reprodukuje tu pristrasnost u velikim razmerama i, u nekim aspektima, dodatno je pojačava. Kada je tim, koji je predvodila Bai, primenio standardni psihološki test za rasnu pristrasnost na modelu GPT-4, model je svih osam pozitivnih reči dodelio "belcima", a svih osam negativnih "crncima". Ljudi pokazuju iste asocijacije, ali ne toliko. Model ne preslikava samo pristrasnost koju ljudi pokazuju u studijama, već je izražava snažnije nego ljudi. Drugim rečima, modeli ne odražavaju stvarnost; oni je preuveličavaju. 

I što je ključno, čak kada AI modeli znaju tačan odgovor koji se kosi sa stereotipom usvojenim iz podataka za treniranje, istraživanje tima koji je predvodio Lei Huang (objavljeno u časopisu "ACM Transactions on Information Systems") pokazalo je da se oni često priklanjaju stereotipima. Stvaranje stereotipa je samo po sebi loše i kada o pojedincu nemate nikakve druge informacije osim demografskih. Još je gore kada imate relevantne informacije, ali ih ignorišete. 

Osoba koja pregleda radne biografije, a koja vas nikada nije upoznala i donosi pretpostavke o vama na osnovu vašeg imena, nanosi jednu vrstu štete. Sistem za proveru biografija koji ima vašu istoriju zaposlenja, vaše diplome, preporuke i dostignuća, a koji vas i dalje usmerava ka poslu nižeg statusa zbog vašeg imena, uskraćuje vam čak i mogućnost da sopstvenim trudom prevaziđete stereotipe. Pritom, retko kad će greška biti tako očigledna kao što je bilo pogrešno navođenje imena moje supruge (a posredno i njene nacionalne pripadnosti). Ako sistem može da pribegne halucinacijama vođenim stereotipima u tako jednostavnom slučaju, zamislite koliki će problem biti kada nema jednostavnog odgovora. 

Ova vrsta greške će imati težinu kad god modeli budu donosili odluke o konkretnim ljudima, dok istovremeno imaju duboko ukorenjena uverenja o demografskim grupama kojima ti ljudi pripadaju. AI se već koristi ili se njena primena preporučuje u te svrhe: za pregledanje biografija, procenu kreditne sposobnosti, medicinsku trijažu, cenu osiguranja, usmeravanje korisničke podrške. U svakom od tih slučajeva model raspolaže činjenicama o konkretnim ljudima, ali i stereotipima u koje je naučen da veruje. Prečesto će se opredeliti za pretpostavke koje su mu usađene kroz obuku. Računari su (sada) zaista poput nas. 

Pristrasnu AI je teško otkriti, delom zato što je obučena da se prijateljski ponaša. Taj digitalni osmeh, međutim, prikriva predrasude koje stoje iza. Ipak, to je lakši deo problema. Teži deo leži u tome što se pristrasnosti modela uglavnom podudaraju sa našima. Stereotipi koje je model usvojio već su prisutni, što znači da će pristrasna preporuka pre izazvati klimanje glavom nego sumnju. Ljudi su izuzetno podložni potvrđivanju sopstvenih pristrasnih uverenja. Verujemo informacijama koje potvrđuju naša već postojeća uverenja, čak i ona podsvesna. Alat za zapošljavanje koji diskriminiše možda je gori od ljudske procene, ali to radi tako da nas neće iznenaditi. 

Odgovor je u još jednoj suštinski ljudskoj osobini: nepoverenju. Ako verujete svojoj AI platformi, koristite je na pogrešan način. Ja ću joj svakako manje verovati nakon ovog iskustva. Računari možda deluju racionalno. Međutim, čak i ako su nekada takvi bili dok su služili samo kao moćni kalkulatori, to više nisu zahvaljujući velikim jezičkim modelima (LLM). Namerno ili ne, mogu vas dovesti u zabludu. Sve dok u potpuno ne prihvatimo tu činjenicu i ne izgradimo navike i strukture koje će se tome suprotstaviti, oni će biti opasni. U svoju AI treba da imate onoliko poverenja koliko i u nepostojeću Suchitru. 

Ova kolumna izražava lične stavove autora i ne odražava nužno mišljenje uredništva ili kompanije Bloomberg LP i njenih vlasnika.