Nelieli četru bitu datori tagad ir viss, kas jums nepieciešams, lai apmācītu AI

Astoņi biti veido baitu, tāpēc četrus bitus sauc par nibble. Datorinženieriem ir smieklīga humora izjūta. Ms Tech | Welcome Collection

Dziļa mācīšanās ir neefektīvs enerģijas cūks . Tas prasa milzīgus datu apjomus un bagātīgus skaitļošanas resursus, kas palielina tā elektroenerģijas patēriņu. Dažos pēdējos gados vispārējā pētniecības tendence ir pasliktinājusi problēmu. Milzīgu proporciju modeļi, kas vairākas dienas tiek apmācīti miljardos datu punktu, ir modē, un, visticamāk, tie drīzumā nepazudīs.

Daži pētnieki ir steigušies meklēt jaunus virzienus, piemēram, algoritmus, ar kuriem var trenēties mazāk datu , vai aparatūru, kas var palaist šos algoritmus ātrāk . Tagad IBM pētnieki piedāvā citu. Viņu ideja samazinātu bitu skaitu vai viens smiltis 0 s, kas nepieciešami datu attēlošanai — no 16 bitiem, kas ir pašreizējais nozares standarts, līdz tikai četriem.

The strādāt , kas šonedēļ tiek prezentēta lielākajā ikgadējā AI pētniecības konferencē NeurIPS, varētu palielināt ātrumu un samazināt enerģijas izmaksas, kas nepieciešamas dziļās mācīšanās apmācībai vairāk nekā septiņas reizes. Tas varētu arī padarīt iespējamu jaudīgu AI modeļu apmācību viedtālruņos un citās mazās ierīcēs, kas uzlabotu privātumu, palīdzot saglabāt personas datus vietējā ierīcē. Un tas padarītu procesu pieejamāku pētniekiem ārpus lieliem, resursiem bagātiem tehnoloģiju uzņēmumiem.

Kā biti darbojas

Jūs droši vien esat dzirdējuši, ka datori glabā lietas viens smiltis 0 s. Šīs informācijas pamatvienības ir pazīstamas kā biti . Kad bits ir ieslēgts, tas atbilst a viens ; kad tas ir izslēgts, tas pārvēršas par a 0 . Katrs bits, citiem vārdiem sakot, var uzglabāt tikai divas informācijas daļas.

Bet, tiklīdz tos savienojat, informācijas apjoms, ko varat kodēt, pieaug eksponenciāli. Divi biti var attēlot četras informācijas daļas, jo ir 2^2 kombinācijas: 00 , 01 , 10 , un vienpadsmit . Četri biti var attēlot 2^4 vai 16 informācijas vienības. Astoņi biti var apzīmēt 2^8 vai 256. Un tā tālāk.

Pareizā bitu kombinācija var attēlot datu veidus, piemēram, ciparus, burtus un krāsas, vai darbību veidus, piemēram, saskaitīšanu, atņemšanu un salīdzināšanu. Mūsdienās lielākā daļa klēpjdatoru ir 32 vai 64 bitu datori. Tas nenozīmē, ka dators kopā var kodēt tikai 2^32 vai 2^64 informācijas vienības. (Tas būtu ļoti niecīgs dators.) Tas nozīmē, ka tas var izmantot tik daudz sarežģītības bitu, lai kodētu katru datu daļu vai atsevišķu darbību.

4 bitu dziļa mācīšanās

Tātad, ko nozīmē 4 bitu apmācība? Pirmkārt, mums ir 4 bitu dators un līdz ar to 4 bitu sarežģītība. Viens veids, kā par to padomāt: katram skaitlim, ko izmantojam apmācības procesā, ir jābūt vienam no 16 veseliem skaitļiem no -8 līdz 7, jo tie ir vienīgie skaitļi, ko mūsu dators spēj attēlot. Tas attiecas uz datu punktiem, ko ievadām neironu tīklā, skaitļiem, ko izmantojam, lai attēlotu neironu tīklu, un starpskaitļiem, kas mums jāsaglabā apmācības laikā.

Tātad, kā mēs to darām? Vispirms padomāsim par apmācības datiem. Iedomājieties, ka tā ir vesela virkne melnbaltu attēlu. Pirmais solis: mums šie attēli jāpārvērš skaitļos, lai dators tos varētu saprast. Mēs to darām, attēlojot katru pikseļu, izmantojot tā pelēktoņu vērtību — 0 melnajam, 1 baltajam un decimāldaļas starp pelēkajiem toņiem. Mūsu attēls tagad ir skaitļu saraksts no 0 līdz 1. Bet 4 bitu zemē mums ir jābūt diapazonā no -8 līdz 7. Šeit ir triks, lai mūsu skaitļu sarakstu lineāri mērogotu, lai 0 kļūtu par -8 un 1 kļūst par 7, un decimālskaitļi atbilst veseliem skaitļiem vidū. Tātad:

Varat mērogot savu skaitļu sarakstu no 0 līdz 1, lai tas būtu no -8 līdz 7, un pēc tam noapaļot jebkuru decimāldaļu līdz veselam skaitlim.

Šis process nav ideāls. Ja jūs sāktu ar skaitli 0,3, teiksim, jūs beigtos ar mērogoto skaitli -3,5. Bet mūsu četri biti var attēlot tikai veselus skaitļus, tāpēc jums ir jānoapaļo no -3,5 līdz -4. Jūs galu galā zaudējat dažus pelēkos toņus vai tā sauktos precizitāte , jūsu attēlā. Jūs varat redzēt, kā tas izskatās zemāk esošajā attēlā.

Jo mazāks bitu skaits, jo mazāk detaļu fotoattēlā. Tas ir tas, ko sauc par zaudējumu precizitāte .

Šis triks nav pārāk nobružāts apmācības datiem. Bet, kad mēs to atkal attiecinām uz pašu neironu tīklu, lietas kļūst nedaudz sarežģītākas.

Neironu tīkls.

Mēs bieži redzam neironu tīklus, kas zīmēti kā kaut kas ar mezgliem un savienojumiem, piemēram, attēlā iepriekš. Bet datorā tie arī pārvēršas par skaitļu sēriju. Katram mezglam ir ts aktivizēšana vērtība, kas parasti svārstās no 0 līdz 1, un katram savienojumam ir a svars , kas parasti svārstās no -1 līdz 1.

Mēs varētu tos mērogot tādā pašā veidā, kā to darījām ar saviem pikseļiem, taču aktivizēšanas un svari mainās arī katrā treniņa kārtā. Piemēram, dažkārt aktivizācijas svārstās no 0,2 līdz 0,9 vienā kārtā un no 0,1 līdz 0,7 citā. Tāpēc IBM grupa 2018. gadā izdomāja jaunu triku: mainīt šo diapazonu skalu, lai katrā kārtā izstieptos no -8 līdz 7 (kā parādīts zemāk), kas ļauj efektīvi izvairīties no pārāk lielas precizitātes zaudēšanas.

Lai izvairītos no pārāk lielas precizitātes zaudēšanas, IBM pētnieki maina neironu tīkla aktivizācijas un svaru skalas katrā treniņa kārtā.

Bet tad mums atliek viens pēdējais gabals: kā četros bitos attēlot starpvērtības, kas parādās apmācības laikā. Izaicinoši ir tas, ka šīs vērtības var aptvert vairākas lieluma kārtas, atšķirībā no skaitļiem, ar kuriem mēs apstrādājām savus attēlus, svarus un aktivizēšanas gadījumus. Tie var būt niecīgi, piemēram, 0,001, vai milzīgi, piemēram, 1000. Mēģinot lineāri mērogot to no -8 līdz 7, skalas mazajā galā tiek zaudēta visa precizitāte.

Lineāri mērogojami skaitļi, kas aptver vairākas lieluma kārtas, skalas mazajā galā zaudē visu precizitāti. Kā redzat šeit, visi skaitļi, kas ir mazāki par 100, tiks mērogoti līdz -8 vai -7. Precizitātes trūkums kaitētu AI modeļa galīgajai veiktspējai.

Pēc divu gadu pētījumiem pētnieki beidzot atrisināja mīklu: aizņemoties esošu ideju no citiem, viņi mērogoja šos starpskaitļus. logaritmiski . Lai saprastu, ko es domāju, zemāk ir redzama logaritmiskā skala, kuru jūs varētu atpazīt ar tā saukto bāzi 10, izmantojot tikai četrus sarežģītības bitus. (Tā vietā pētnieki izmanto 4. bāzi, jo izmēģinājumi un kļūdas parādīja, ka tas darbojas vislabāk.) Varat redzēt, kā tas ļauj kodēt gan mazus, gan lielus skaitļus bitu ierobežojumu ietvaros.

Logaritmiskā skala ar 10. bāzi.

Kad visi šie elementi ir ievietoti, šajā jaunākajā rakstā ir parādīts, kā tie tiek apvienoti. IBM pētnieki veic vairākus eksperimentus, kuros simulē 4 bitu apmācību dažādiem dziļas mācīšanās modeļiem datorredzē, runas un dabiskās valodas apstrādē. Rezultāti liecina par ierobežotu modeļu kopējās veiktspējas precizitātes zudumu, salīdzinot ar 16 bitu dziļo mācīšanos. Process ir arī vairāk nekā septiņas reizes ātrāks un septiņas reizes energoefektīvāks.

Nākotnes darbs

Vēl ir jāveic vairākas darbības, pirms 4 bitu dziļā mācīšanās kļūst par īstu praksi. Tikai papīrs simulē šāda veida apmācības rezultātus. Lai to izdarītu reālajā pasaulē, būtu nepieciešama jauna 4 bitu aparatūra. 2019. gadā IBM pētniecība atklāja AI aparatūras centru, lai paātrinātu šādu iekārtu izstrādes un ražošanas procesu. Kailašs Gopalakrišnans, IBM kolēģis un vecākais vadītājs, kurš pārraudzīja šo darbu, saka, ka viņš sagaida, ka 4 bitu aparatūra būs gatava padziļinātai apmācībai trīs līdz četru gadu laikā.

Saistīts stāsts

Nelieli AI modeļi var uzlādēt automātiskās korekcijas un balss palīgus jūsu tālrunī

Stenfordas profesors Boriss Mērmans, kurš nebija iesaistīts pētījumā, rezultātus sauc par aizraujošiem. Viņš saka, ka šis sasniegums paver iespējas apmācībām vidē, kurā ir ierobežoti resursi. Tas ne vienmēr padarītu iespējamas jaunas lietojumprogrammas, taču tas ievērojami paātrinātu esošās un mazāk iztērētu akumulatoru. Piemēram, Apple un Google arvien vairāk ir centušies pārvietot savu AI modeļu, piemēram, runas pārveides tekstā un automātiskās labošanas sistēmas, apmācības procesu. no mākoņa un uz lietotāju tālruņiem . Tas saglabā lietotāju privātumu, saglabājot viņu datus viņu tālrunī, vienlaikus uzlabojot ierīces AI iespējas.

Bet Murmann arī atzīmē, ka ir jādara vairāk, lai pārbaudītu pētījuma pareizību. 2016. gadā viņa grupa publicēja rakstu kas demonstrēja 5 bitu apmācību. Bet šī pieeja gadu gaitā nenoturējās. Viņš saka, ka mūsu vienkāršā pieeja izjuka, jo neironu tīkli kļuva daudz jutīgāki. Tāpēc nav skaidrs, vai šāda tehnika arī izturēs laika pārbaudi.

Neskatoties uz to, papīrs motivēs citus cilvēkus to ļoti uzmanīgi aplūkot un rosinās jaunas idejas, viņš saka. Tas ir ļoti apsveicams progress.

paslēpties