Nelieli AI modeļi var uzlādēt automātiskās korekcijas un balss palīgus jūsu tālrunī

Kategorija: Mākslīgais intelekts Ievietots 04. oktobris

Pētnieki ir veiksmīgi samazinājuši milzīgu valodas modeli, lai to izmantotu komerciālos lietojumos.

Kurš skaita? Pagājušajā gadā dabiskās valodas modeļi ir kļuvuši ievērojami labāki, jo tie ir kļuvuši ievērojami lielāki. Pagājušā gada oktobrī, piemēram, Google izlaida modeli ar nosaukumu BERT kas izturēja ilgstošu lasīšanas izpratnes etalonu šajā jomā. Modeļa lielākajai versijai bija 340 miljoni datu parametru, un tā apmācība tikai vienu reizi maksāja pietiekami daudz elektrības, lai nodrošinātu ASV mājsaimniecības barošanu 50 dienas.

Pēc četriem mēnešiem OpenAI ātri to papildināja ar savu modeli GPT-2. Modele demonstrēja iespaidīgu prasmi konstruēt pārliecinošu prozu; tas arī izmantoja 1,5 miljardus parametru. Tagad ir MegatronLM, jaunākais un lielākais Nvidia modelis 8,3 miljardi parametru . (Jā, lietas iziet no rokām.)

Lielais, sliktais, neglītais: AI pētnieki arvien vairāk uztraucas par šīs tendences sekām. Jūnijā grupa Masačūsetsas Universitātē, Amherstā, parādīja klimata nodevas, ko rada tik liela mēroga modeļu izstrāde un apmācība. Viņi aprēķināja, ka BERT apmācības rezultātā tika izmesti gandrīz tikpat daudz oglekļa kā lidojums turp un atpakaļ starp Ņujorku un Sanfrancisko; GPT-2 un MegatronLM, ekstrapolējot, visticamāk, emitētu daudz vairāk.

Šī tendence varētu arī paātrināt AI pētniecības koncentrēšanos dažu tehnoloģiju gigantu rokās. Nepietiekami nodrošinātām laboratorijām akadēmiskajās aprindās vai valstīs ar mazākiem resursiem vienkārši nav līdzekļu, lai izmantotu vai izstrādātu šādus skaitļošanas ziņā dārgus modeļus.

Mīļā, es samazināju AI: Atbildot uz to, daudzi pētnieki ir vērsti uz samazinot izmēru esošo modeļu izmantošanu, nezaudējot savas iespējas. Tagad divi jauni dokumenti, kas tika izdoti vienas dienas laikā, ir veiksmīgi to izdarījuši ar mazāko BERT versiju ar 100 miljoniem parametru.

The pirmais papīrs, no Huawei pētniekiem, ražo modeli ar nosaukumu TinyBERT, kas ir mazāks par septīto daļu no oriģināla izmēra un gandrīz 10 reizes ātrāks. Tas arī darbojas gandrīz tikpat labi valodas izpratnē kā oriģināls. The otrkārt, no Google pētniekiem, ražo citu, kas ir vairāk nekā 60 reizes mazāks, taču tā valodas izpratne ir nedaudz sliktāka nekā Huawei versijai.

Kā viņi to izdarīja: Abos rakstos tiek izmantotas kopīgas saspiešanas tehnikas, kas pazīstama kā zināšanu destilācija, variācijas. Tas ietver lielā AI modeļa izmantošanu, kuru vēlaties samazināt (skolotājs), lai apmācītu daudz mazāku modeli (skolēnu) tā tēlā. Lai to izdarītu, abos ievadiet vienus un tos pašus ievades datus un pēc tam pielāgojiet studentu, līdz tā rezultāti sakrīt ar skolotāja rezultātiem.

Ārpus laboratorijas: Papildus tam, ka tiek uzlabota piekļuve vismodernākajam AI, mazie modeļi palīdzēs ieviest jaunākos AI sasniegumus patērētāju ierīcēs. Viņi izvairās no nepieciešamības nosūtīt patērētāju datus uz mākoni, kas uzlabo gan ātrumu, gan privātumu. Jo īpaši dabiskās valodas modeļiem jaudīgāka teksta prognozēšana un valodas ģenerēšana varētu uzlabot neskaitāmas lietojumprogrammas, piemēram, automātisko pabeigšanu tālrunī un balss palīgus, piemēram, Alexa un Google Assistant.

Lai vairāk šādu stāstu tiktu piegādāts tieši jūsu iesūtnē, reģistrējieties mūsu Webby nominētajam AI informatīvajam izdevumam The Algorithm. Tas ir par brīvu.