Kako pametne naočare mogu da prepoznaju emocije

Makedonski naučnici sa Fakulteta za elektrotehniku i informacione tehnologije iz Skoplja stvorili su pametne naočare koje mogu prepoznati raspoloženje kod ljudi. Ovaj inovativni bežični uređaj koristi optičke senzore, a univerzitetski profesor i inovator dr Hristijan Gjoreski objasnio je za Bloomberg Adriju kako funkcionišu i na koji način se dobijaju podaci. 

"Izrazi lica nastaju kontrakcijom mišića lica. Naočare OCOsense, opremljene vlasničkim senzorima za OCO™ optomiografiju (OMG), mere male promene u aktivaciji mišića uzimanjem uzoraka do 6.000 puta u sekundi. Ova inovativna tehnologija omogućava naočarima da detektuju suptilne izraze lica, pokrete vilice i emocionalne reakcije u realnom vremenu", otkriva on.

Objašnjava da se tehnologija OCOsense sastoji od niza optičkih - OCO™ senzora, IMU senzora sa devet osa, senzora koji meri atmosferski pritisak i mikrofona. Optički senzori su ugrađeni u okvir kako bi pokrivali ključne mišićne grupe povezane sa promenom ponašanja. 

Podaci sa senzora mogu se preneti preko Bluetootha do mobilnog uređaja. Naočare sadrže dve LIPO baterije od 220 mAh koje mogu napajati sistem do 16 sati u zavisnosti od toga koliko je korisnik aktivan. Dizajnirane su pomoću statistički generisanih modela glava i optimizovane za udobnost i stabilnost dok se nose, čime se ograničavaju artefakti pri kretanju. Optički senzori su postavljeni da detektuju aktivaciju ključnih mišića povezanih sa pokretima lica - na obrazima, između obrva, iznad obrva i iznad slepoočnica. 

"Podaci senzora obrađuju se algoritmima veštačke inteligencije i pomoću aplikacije za pametne telefone i klaud infrastrukture nude sveobuhvatnu platformu za analizu raspoloženja i ponašanja korisnika. Na ovaj način, sistem nudi dubinsku analizu i razumevanje izraza lica, aktivnosti i ponašanja, transformišući način na koji istraživači, tvorci sadržaja i lekari angažuju i tumače ljudske emocije i reakcije van laboratorije", kaže profesor. 

Upotreba u svakodnevnom životu

Gjoreski kaže da je njihova tehnologija, poznata kao OCOsense, prva platforma na svetu sposobna da prepoznaje izraze lica, ljudske aktivnosti i ponašanje. Ovaj alat bi mogao korisnicima omogućiti daljinsko praćenje kućnih tretmana i medicinskih terapija, posebno za osobe sa stanjima kao što su depresija, Parkinsonova bolest, paraliza lica i slične bolesti. On sugeriše da su se naočare pokazale praktičnim i za praćenje različitih ponašanja povezanih sa svakodnevnim aktivnostima, kao što su socijalna interakcija i ishrana. 

Gjoreski Emteq Media

Povod za stvaranje ovog jedinstvenog proizvoda dao je plastični hirurg, dr Charles Nduka, inače osnivač kompanije "Emtek Labs" sa sedištem u Engleskoj, u kojoj Gjoreski kasnije postaje izvršni direktor. 

Za svoje preglede i operacije pacijenata sa paralizom facijalnog nerva, dr Nduka koristio je senzore za lice, konkretno elektromiografiju (EMG) za merenje nervnih impulsa facijalnih mišića. Neki pacijenti su bili zaintrigirani ovom tehnologijom, pa su pitali da li mogu koristiti slična merenja i trenirati lice kod kuće. Svestan da se radi o specijalizovanoj medicinskoj opremi koja mnogo košta i koja se može koristiti samo u kliničkim uslovima, dobio je ideju da stvori pametne maske ili pametne naočare koje će moći da se koriste svakodnevno, ali i koje će biti pristupačnije sa finansijskog aspekta. 

Gjoreski i njegov tim prvo su razvili pametnu masku emteqPRO, a potom 2021. godine i prvi prototip pametnih naočara - OCOsense, koje mogu beskontaktno da mere izraze lica korisnika koji ih nosi pomoću optičkih senzora. Ove godine su predstavili i poboljšanu verziju OCOsense V2. 

Za svoj izum pre dve godine osvojili su prvu nagradu na prestižnoj međunarodnoj naučnoj konferenciji UbiComp i ISWC u Velikoj Britaniji. Priznanje su dobili za najbolju demonstraciju inovativne tehnologije, za prvu verziju svojih pametnih naočara. Pre nepuna mesec dana dobili su još dve priznanja, ovaj put na konferenciji Intelligent Environments u Ljubljani - prvu nagradu za najbolji naučni rad i prvu nagradu za najbolju prezentaciju za drugu verziju OCOsense naočara. 

Još uvek nema definisane cene za ovaj revolucionarni proizvod koji ima potencijal da se efektivno komercijalizuje i kroz mesečni plan pretplate. Trenutno su naočare dostupne prvenstveno za istraživačke svrhe. Iz kompanije naglašavaju da je svaki par naočara ručno izrađen, što dodatno utiče na konačnu cenu koja, u zavisnosti od zahteva klijenta, lako može dostići i 10.000 evra. Zato uređaj trenutno ostaje dostupan prvenstveno za istraživačke svrhe. Ipak, iz kompanije prepoznaju obećavajuće tržište za korišćenje ovih naočara za praćenje navika u ishrani. 

"Osim što prepoznaju izraze lica, naočare mogu pratiti aktivnosti žvakanja (jedenja). Najnovija verzija uključuje i kameru okrenutu ka dole koja može fotografisati obroke. Kada se kombinuje sa moćnim velikim jezičkim modelima, ova funkcija može pružiti tačne informacije o obroku, kao što su nutritivni sadržaj i veličina porcija. Osim toga, naočare mogu proceniti aktivnosti i potrošene kalorije i na taj način ponuditi sveobuhvatno rešenje za optimalan balans", kaže Gjoreski. 

S međunarodnim nagradama do britanskih investitora

Gjoreski sa svojim bratom dr Martinom Gjoreskim u Severnoj Makedoniji 2019. osniva startap za veštačku inteligenciju (AIDEA Lab). Njihov cilj je da iskoriste svoju naučnu i istraživačku ekspertizu kako bi inovirali u ovoj oblasti. Sa brojnim naučnim publikacijama i pet pobeda na međunarodnim takmičenjima u mašinskom učenju za podatke sa senzora, stiču značajnu prednost u odnosu na konkurenciju i ogroman potencijal za razvoj. Sastavni deo njihovog tima od samih početaka su i Ivana Kiprijanovska i Simon Stankoski, magistri iz oblasti veštačke inteligencije. 

Njihov potencijal prepoznaju iz Emtek Labs i 2020. godine AIDEA Lab postaje deo kompanije. Gjoreski prvo vodi odeljenje za veštačku inteligenciju, a danas je izvršni direktor za tehnologiju i predvodi tim od petnaestak ljudi u Skoplju. Ostatak inženjerskog i proizvodnog tima kompanije je sa sedištem u Brajtonu. Kao glavni izvršni direktor, 2023. godine im se pridružuje Stin Strand, bivši prvi čovek hardverskog odeljenja Snap Inc. 

Iz kompanije kažu da polovinu ukupnih investicija obezbeđuju putem grantova, a ostatak su sredstva od privatnih investitora u Engleskoj.