Ko odgovara kada algoritam pogreši?

Odbijen vam je kredit, ali ne znate ko je to odlučio - čovek ili algoritam. Banka vam kaže da je odluka zasnovana na modelu veštačke inteligencije, ali ne može potpuno da vam objasni zašto ste odbijeni. Da li ćete toj banci verovati i sledeći put? 

 

 

Takav scenario postaje svakodnevica, jer je veštačka inteligencija sada već sastavni deo poslovanja, od bankarstva i osiguranja, preko zapošljavanja i trgovine, do zdravstva i javnih usluga. Dakle, algoritmi danas sve češće učestvuju u odlukama koje direktno utiču na naše živote. Zato poverenje postaje nova valuta AI ekonomije. Kompanije su ranije gradile konkurentsku prednost samo kroz cene, kvalitet ili inovacije; sada kada veštačka inteligencija može da napiše ugovor, preporuči investiciju ili odgovori korisniku za nekoliko sekundi, pitanje nije koliko je sistem pametan, već koliko mu verujemo. Jedna pogrešna AI preporuka može da izbriše godine ulaganja u reputaciju. 

I upravo tu na scenu stupa "trust economy", ekonomija u kojoj sposobnost kompanije da objasni, kontroliše i preuzme odgovornost za tehnologiju koju koristi postaje jednako važna kao i sama tehnologija. 

Banke još traže ko će biti odgovoran za AI 

Dok banke ubrzano eksperimentišu sa veštačkom inteligencijom, njihova spremnost za njenu sistemsku primenu i dalje je neujednačena. Istraživanje Udruženja banaka Srbije, u kojem je učestvovalo 18 banaka, pokazuje da najveći izazov nije nužno sama tehnologija, već pitanje ko će za nju biti odgovoran. Nikola Basta iz KPMG-a, koji je učestvovao u istraživanju, smatra da bankarski sektor danas prolazi kroz fazu u kojoj se AI inicijative množe, ali još nisu svuda pretočene u jasne poslovne procese i odgovornosti.  

Banke, kaže, s razlogom oprezno pristupaju novim tehnologijama, posebno kada je reč o rizicima, podacima i regulatornim zahtevima. Istovremeno, brzina razvoja AI-ja tera ih da pronađu ravnotežu između opreza i potrebe da tehnologiju ne usvajaju prekasno. "Trinaest od osamnaest banaka ili uopšte nema definisanu odgovornost za AI ili ona postoji samo neformalno", naglašava Basta. Kada niko formalno nije vlasnik neke teme, dodaje, inicijative ostaju vezane za entuzijazam pojedinaca i teško prelaze u poslovni proces. To je, prema njegovom mišljenju, jedan od ključnih razloga zbog kojih u bankama postoji veliki broj pojedinačnih AI projekata, ali još nema dovoljno zajedničke strategije koja bi jasno odgovorila na pitanje koje poslovne probleme AI treba da reši. 

Još pre nego što dođe do samog algoritma, međutim, postoji pitanje podataka. Nijedna od 18 banaka obuhvaćenih istraživanjem nema podatke koje bi mogla da opiše kao potpuno "AI-ready", dok se kod dve trećine banaka podaci iz oblasti rizika i dalje uglavnom koriste za izveštavanje i kalkulacije. "Poverenje u AI počinje mnogo pre samog AI-ja", kaže Basta. Ako organizacija ne zna odakle podaci dolaze, ko je za njih odgovoran i koliko su pouzdani, teško je očekivati da će zaposleni i klijenti verovati preporuci koju generiše model. Tu se otvara i pitanje ljudskog nadzora. Što je odluka značajnija za pojedinca ili kompaniju, smatra Basta, to je važnije da čovek zadrži konačnu odgovornost. Istraživanje pokazuje da 14 od 18 banaka nema formalan ljudski nadzor nad AI odlukama ili ga ima samo u ograničenim slučajevima: "Ne verujem da će poverenje dolaziti iz tvrdnje da AI može sve sam, nego upravo iz sposobnosti kompanije da jasno pokaže gde AI pomaže, a gde čovek donosi odluku", kaže on. 

Basta/Privatna arhiva

I upravo tu bankarska industrija već dobija konkretnu lekciju: AI može da ubrza proces, analizira velike količine podataka i generiše preporuke, ali odgovornost za posledicu ne može da se prebaci na softver. Klijent koji smatra da je oštećen neće tražiti odgovornost od proizvođača modela, već od banke. Za Bastu je zato ljudski faktor možda i najveća nepoznanica. U 10 od 18 banaka ne postoji obuka o AI-ju u risk funkciji, dok je u 12 banaka znanje o AI-ju koncentrisano kod pojedinaca. 

 "Alati su ušli u banke, ali znanje kako se ti isti alati zapravo koriste nije", ističe Basta. To menja i prirodu rizika. Problem, smatra on, nije samo u tome što AI može da pogreši, to će se neminovno događati. Veći problem nastaje kada čovek prihvati odgovor sistema bez provere, zato što deluje dovoljno ubedljivo i zato što nije jasno ko je odgovoran za proveru: "Na kraju dana, najveći AI rizik često nije model. Najveći AI rizik je čovek koji modelu veruje više nego što bi trebalo." 

Za nekoliko godina, smatra on, sama tehnologija više neće biti presudan faktor razlikovanja među bankama. Modeli će biti dostupni gotovo svima, dok će prava razlika biti u onome što se ne može jednostavno kupiti, kvalitetu podataka, upravljanju, jasno definisanoj odgovornosti i sposobnosti ljudi da procene kada AI-ju treba verovati, a kada njegov rezultat treba osporiti. U tom smislu, pitanje za banke više nije da li će koristiti AI. Pitanje je da li će uspeti da izgrade organizaciju koja zna kako da njime upravlja. 

A kako izgleda kada AI izađe iz faze eksperimenta i postane deo svakodnevnog odnosa banke sa klijentom, pokazuje iskustvo Raiffeisen banke. 

Banka iza algoritma 

Finansijske institucije raspolažu velikim količinama podataka i već godinama koriste automatizaciju i modele za različite procese, dok generativna veštačka inteligencija dodatno pomera granicu između tehnologije i direktnog odnosa sa klijentom. Raiffeisen banka u Srbiji bila je među bankama koje su relativno rano počele da koriste AI u komunikaciji sa klijentima, njihovo iskustvo pokazuje da poverenje u veštačku inteligenciju nije došlo automatski. 

"Poverenje se nije izgradilo preko noći. Kao i kod svake nove tehnologije, korisnici su u početku bili oprezni, ali su je postepeno prihvatali kada su videli da donosi konkretnu vrednost kroz brze, tačne i dostupne informacije", kaže za Bloomberg Adriju Jelena Aksić, zamenica predsednika IO Raiffeisen banke. Ključ, kako naglašava, nije u tome da korisnik veruje veštačkoj inteligenciji zato što je ona veštačka inteligencija, već zato što mu pruža dobro iskustvo i dodaje: "Poverenje se ne gradi na tehnologiji samoj po sebi, već na kvalitetu i doslednosti korisničkog iskustva i usluge koje klijenti dobiju. Dodatno, fazno uvođenje tehnologije u naše procese i usluge nam je omogućavalo da usput učimo i implementiramo povratne informacije od krajnjih korisnika."  

To je važna razlika u odnosu na rane faze razvoja AI-ja, kada se sposobnost sistema često posmatrala gotovo odvojeno od pitanja odnosa sa korisnikom. Danas, međutim, klijent ne procenjuje samo da li je tehnologija brza. On procenjuje da li je razume, da li zna kada je koristi i, što je najvažnije, da li zna kome može da se obrati kada nešto pođe po zlu. Zato transparentnost postaje jedan od temelja tog odnosa. 

"Transparentnost je jedan od ključnih principa odgovorne primene veštačke inteligencije. Smatramo da klijenti treba da znaju kada komuniciraju sa AI sistemom, jer otvorena komunikacija doprinosi poverenju i jasnom razumevanju mogućnosti i ograničenja tehnologije", ističe Aksić. "Taj princip primenjen je od početka i kod REA asistenta, digitalne asistentkinje koja komunicira sa klijentima u Raiffeisen banci.” 

No postavlja se pitanje da li je transparentnost sama po sebi dovoljna? AI može biti otvoreno predstavljen korisniku, a da on i dalje nema osećaj sigurnosti ako sistem daje netačne ili nejasne odgovore. 

Aksić/Privatna arhiva

Iz Raiffeisena poručuju: "Važna su četiri elementa: brzina, preciznost, transparentnost i mogućnost uključivanja čoveka. Ipak, možda najbitnija je pouzdanost odgovora. Klijent mora da zna da će dobiti tačnu informaciju ili biti brzo usmeren ka zaposlenom koji može da pomogne." I upravo mogućnost da čovek preuzme razgovor predstavlja jednu od važnih granica između automatizacije i odgovornosti. Što je odluka značajnija za klijenta, to je pitanje ljudskog nadzora važnije. 

U bankarstvu se ta granica posebno vidi kod odluka koje mogu imati dugoročne finansijske posledice. Veštačka inteligencija može da analizira velike količine podataka, automatizuje procese i generiše preporuke, ali pitanje ostaje: gde prestaje pomoć algoritma, a počinje odgovornost banke? "Kod odluka koje imaju značajan uticaj na klijente, primenjuju se odgovarajuće kontrole i ljudski nadzor. Naš pristup je da AI podržava donošenje odluka i njihovo ubrzavanje, dok odgovornost ostaje na banci i njenim stručnjacima." Drugim rečima, AI može da bude deo procesa odlučivanja, ali ne može da bude izgovor za prebacivanje odgovornosti na algoritam. 

To pitanje će postajati još važnije kako korisnici budu počeli da prihvataju AI kao finansijskog savetnika, a ne samo kao alat za korisničku podršku. Hoće li klijenti dozvoliti algoritmu da im kaže da li mogu da priušte kredit, kako da upravljaju novcem ili koji finansijski proizvod da izaberu? U Raiffeisen banci očekuju da će korisnici biti sve otvoreniji za takve usluge, ali pod određenim uslovima: "Očekujemo da će korisnici biti sve otvoreniji za ovakve usluge, posebno ukoliko one pružaju relevantne, personalizovane i lako razumljive preporuke. Istovremeno, važno je da korisnici imaju jasne informacije, mogućnost izbora i pristup ljudskoj podršci kad god to žele. Na kraju krajeva, korisnici već koriste ove usluge drugih servisa i isto to će i očekivati od svoje banke." 

Ipak, što je AI prisutniji u odnosu između banke i klijenta, to je važnije pitanje ko snosi posledice kada tehnologija pogreši. Za klijenta je odgovor jednostavan: banka. A i za banku, barem kada je u pitanju Raiffeisen: "Odgovornost je uvek na banci. Klijenta ne treba da zanima koja je tehnologija korišćena u pozadini. On odnos gradi sa bankom i očekuje da banka garantuje kvalitet, sigurnost i korektnost pružene usluge." Ipak, upozoravaju da bi trebalo i da korisnici prave razliku između AI sistema koji su pod kontrolom finansijske institucije i opštih AI servisa koje korisnici mogu samostalno da koriste. 

Ako algoritam donese preporuku ili odluku koja utiče na klijenta, nije dovoljno reći da je rezultat dobio "model". U finansijskoj industriji, gde odluke mogu da utiču na pristup novcu, investicije ili dugoročni finansijski položaj pojedinca, korisnik očekuje da postoji objašnjenje. 

Upravo tu dolazimo do jednog od najvećih izazova za AI u finansijama: objašnjivosti. "Mogućnost objašnjenja je veoma važna, posebno u finansijskoj industriji, gde su transparentnost i poverenje od ključnog značaja. Nije dovoljno da sistem pruži preporuku, već je važno da postoji odgovarajući nivo razumevanja načina na koji je do nje došao. Zbog toga očekujemo da će transparentnost i objašnjivost AI rešenja imati sve veći značaj u budućnosti."  

To istovremeno može da postane i konkurentska prednost. Ako će većina banaka koristiti slične modele i tehnologije, razlika možda neće biti samo u tome ko ima bolji AI, već ko je spremniji da korisniku objasni kako ga koristi i koje mehanizme kontrole ima iza njega. "Verujemo da može. Klijenti neće birati samo najbolje digitalno iskustvo, već i institucije kojima veruju. Banka koja otvoreno govori kako koristi AI i koje kontrole primenjuje može dodatno da učvrsti odnos sa klijentima”, kaže Aksić. 

Zbog toga AI, prema iskustvu Raiffeisen banke, ne menja osnovnu logiku poverenja u bankarstvu, već menja način na koji se to poverenje gradi: "AI menja način na koji pružamo usluge i komuniciramo sa klijentima, ali ne menja osnovne principe na kojima se poverenje gradi. Sigurnost, odgovornost, transparentnost i fokus na potrebe klijenata ostaju podjednako važni bez obzira na tehnologiju koja se koristi." 

Ako se pogleda nekoliko godina unapred, kada AI bude deo gotovo svakog procesa, od korisničke podrške, preko procene rizika, do personalizovanih ponuda; pitanje poverenja biće još izraženije. Tehnologija će verovatno postati sofisticiranija, pa se postavlja pitanje hoće li odnos sa klijentom moći potpuno da se automatizuje? "Napredni AI sistemi biće važan preduslov za pružanje kvalitetnih i personalizovanih usluga, ali poverenje će ostati ključni faktor dugoročnog odnosa sa klijentima. Tehnologija može unaprediti korisničko iskustvo, ali poverenje je ono na čemu se gradi održiv odnos između banke i klijenta." U tom smislu, budućnost AI ekonomije možda neće pripasti kompanijama koje imaju najpametnije algoritme, već onima koje uspeju da odgovore na mnogo jednostavnije pitanje: šta se dešava kada algoritam pogreši i ko će tada stati iza njegove odluke? 

Bajer: Odgovornost prema klijentu ostaje na kompaniji 

Ako iskustvo banaka pokazuje kako se poverenje u AI gradi u direktnom odnosu sa klijentom, šira slika poslovanja pokazuje da se kompanije sa sličnim pitanjem suočavaju mnogo pre nego što algoritam stigne do krajnjeg korisnika: da li su spremne da mu povere stvarni deo svog poslovanja? Vedran Bajer, menadžer za Adriatic, Mađarsku i Baltik u Wonderful AI-ju, smatra da upravo tu postoji jedan od ključnih paradoksa današnje AI ekonomije. 

Ljudi su već prihvatili AI mnogo brže nego što su to učinile njihove organizacije. "Oni već svakodnevno koriste AI u privatnom životu, dok kompanije još pokušavaju da utvrde kako da njime upravljaju kada tehnologija počne da dodiruje stvarne klijente i stvarni novac." naglašava Vedran. 

Podaci istraživanja KPMG pokazuju da 66 odsto ljudi redovno koristi AI, ali mu veruje samo 46 odsto.  

Bajer smatra da taj jaz ne govori toliko o samoj tehnologiji koliko o spremnosti kompanija da je odgovorno uvedu u poslovanje. Istraživanje McKinseyja, kako navodi, pokazuje sličan trend: gotovo dve trećine organizacija kao glavnu prepreku širenju AI agenata navodi bezbednost i rizik, ispred regulative i tehničkih ograničenja. Drugim rečima, problem nije samo u tome koliko je AI dobar, već u tome da li kompanija zna šta se dešava kada ga uvede u stvarni poslovni proces.  

"Ko je odobrio sistem, ko ga nadzire i ko može da ga zaustavi ili preuzme kontrolu. Kada kompanija može da odgovori na ta tri pitanja, poverenje dolazi mnogo brže." naglašava Bajer. 

U Srbiji je taj jaz između eksperimentisanja i stvarne poslovne primene još vidljiviji. Bajer procenjuje da svega oko deset odsto kompanija koristi AI kao deo svakodnevnih poslovnih operacija, dok se većina i dalje oslanja prvenstveno na opšte četbotove. Razlog za to nije samo nedostatak poverenja, već činjenica da kompanije često nisu spremne da AI stave u situaciju u kojoj greška ima stvarnu posledicu. 

"Asistent opšte namene nosi mali rizik. Ako da osrednji odgovor, ništa se ne pokvari. Onog trenutka kada AI dođe u dodir sa štetom, transakcijom ili podacima o klijentu, ulog se potpuno menja, a većina organizacija još nije uradila posao upravljanja koji takav nivo rizika zahteva." kaže Vedran Bajer. 

Jedan od najčešćih problema, dodaje, jeste to što kompanije pokušavaju da automatizuju procese koji ni same nisu do kraja razumele "Najčešći problem koji vidimo na terenu jeste proces koji nikada nije jasno mapiran od početka do kraja. Kada ljudima koji vode neki proces nije jasno kako on funkcioniše, agent samo automatizuje tu konfuziju." Kompanije koje su među prvima napravile ozbiljan iskorak, najpre su uredile sopstvene procese: znale su kako posao funkcioniše, ko je odgovoran za svaki korak i gde čovek mora da ostane uključen, smatra Bajer. 

On dodaje da to postaje posebno važno kada AI počne da donosi odluke koje direktno utiču na korisnike, od kredita i osiguranja do cena i transakcija, jer poznato ime kompanije može biti dovoljno da korisnik tehnologiji pruži prvu šansu, ali ne i da izgradi dugoročno poverenje. 

"Poznato ime kupuje strpljenje klijenta za prvu interakciju. Dugoročno poverenje dolazi iz dve stvari: da znate zašto je odluka doneta i da imate kome da se obratite ako se sa njom ne slažete."