Ovo je odgovor Microsofta na skupe i neekonomične AI modele

Microsoft je predstavio BitNet b1.58, novi model velikog jezičkog modela otvorenog koda (LLM), optimizovan za efikasnost naspram veličine. U industriji gde već dugo dominiraju sve veći AI modeli, BitNet nagoveštava nov oblik rivalstva - uraditi više sa manje.

BitNet b1.58 koristi kombinaciju ternarne kvantizacije težinskih koeficijenata (-1, 0, +1) i 8-bitne kvantizacije aktivacija, što značajno smanjuje računske zahteve modela. Umesto uobičajenih 16-bitnih ili 32-bitnih zapisa sa pokretnim zarezom, BitNet koristi bolje komprimovane reprezentacije, što omogućava efikasno funkcionisanje čak i na osnovnom potrošačkom hardveru.

"Učenje velikih jezičkih modela korišćenjem težinskih koeficijenata niske rezolucije je važan pristup za postizanje veće efikasnosti kako pri učenju tako i pri izvršavanju", napisao je Microsoftov istraživački tim na svojoj stranici na Hugging Faceu. "Naš rad dokazuje da 1–2-bitni modeli mogu postići uporedive performanse sa modelima visokog nivoa preciznosti."

Sa oko dve milijarde parametara, treniranih na četiri biliona tekstualnih jedinica, BitNet b1.58 postiže konkurentne rezultate uz značajno manju potrošnju memorije i energije. Prema podacima Microsofta, BitNet troši do 96 odsto manje energije nego tradicionalni modeli istog tipa.

 

Izazov etabliranim velikanima

Microsoftov potez odudara od opšteprihvaćene strategije najuticajnijih kompanija za veštačku inteligenciju. OpenAI-jev GPT-4, Googleov Gemini 1.5 i Metin Llama 3 postaju sve veći i kompleksniji, čime se povećavaju i zahtevi za moćnim data centrima, GPU-ovima i visokim operativnim troškovima. U poređenju sa tim, BitNet radi na procesorima sa skromnim zahtevima za memorijom. Testovi pokazuju da na laptopu sa Apple M2 čipom može da radi već sa 0,4 GB RAM-a, što je samo delić u poređenju sa zahtevima uobičajenih modela.

Razvojno okruženje, nazvano bitnet.cpp, dizajnirano je za maksimalnu optimizaciju procesorskih performansi. Prema Microsoftu, model ostvaruje i do 6,17 puta veću brzinu na standardnim x86 procesorima i troši 82 odsto manje energije pri radu u poređenju sa FP16 modelima.

Ova usmerenost ka energetskoj efikasnosti dolazi u vreme kada jačaju kritike u vezi sa ekološkim otiskom veštačke inteligencije. Na primer, za treniranje GPT-3 potrošeno je više od 1.287 megavat-sati električne energije—što odgovara godišnjoj potrošnji više stotina domaćinstava. BitNetov otisak je dizajniran tako da je neuporedivo manji.

Depositphotos

 

Nova prilika za tržišta u razvoju

Za tržišta u razvoju BitNet nudi više od tehnološkog noviteta, predstavljajući pomak ka široj dostupnosti veštačke inteligencije. U regionu gde je pristup vrhunskoj računarskoj infrastrukturi ograničen, mogućnost rada naprednih modela na lokalno dostupnoj opremi može snažno ubrzati razvoj AI rešenja.

Budući da je BitNet model otvorenog koda i da je objavljen je pod MIT licencom, developerima i istraživačima omogućava potpunu slobodu prilagođavanja, bez licencnih ograničenja ili visokih troškova.

"Ovakva dostupnost je ključna za demokratizaciju veštačke inteligencije", rekao je Linas Beliūnas, stručnjak za veštačku inteligenciju, koji je pisao o BitNetu na LinkedIn-u. "Sada vam više nije potreban superračunar za rad sa velikim jezičkim modelima."

Širi značaj

BitNet nije bez ograničenja. Njegova laka arhitektura teže upravlja kompleksnim logičkim pitanjima i kreativnim zadacima, u poređenju sa kompleksnijim modelima. Microsoft priznaje da je BitNet b1.58 prvenstveno istraživački model, namenjen dokazivanju da je ekstremna kvantizacija moguća, a ne nužno savršena zamena za sve vrste zadataka. Uprkos tome, strateške posledice su jasne: sa pojačanom  regulacijom veštačke inteligencije i sve većim troškovima rada, efikasni modeli bi uskoro mogli postati nova norma.

Trenutno nema komentara za vest. Ostavite prvi komentar...

Ostavi komentar