Jauns veids, kā izveidot nelielus neironu tīklus, jūsu tālrunī var radīt jaudīgu AI

JAUNKUNDZE. TECH Tehniķa kundze

Neironu tīkli ir dziļās mācīšanās galvenā programmatūra. Lai gan tie ir tik plaši izplatīti, tie patiešām ir slikti saprotami. Pētnieki ir novērojuši to jaunās īpašības, patiesībā nesaprotot kāpēc viņi strādā tā, kā viņi dara.

Tagad a jauns papīrs no MIT ir spēris lielu soli, lai atbildētu uz šo jautājumu. Un šajā procesā pētnieki ir veikuši vienkāršu, bet dramatisku atklājumu: mēs esam izmantojuši neironu tīklus, kas ir daudz lielāki, nekā mums patiesībā nepieciešams. Dažos gadījumos tie ir 10 — pat 100 reižu lielāki, tāpēc to apmācība mums izmaksā vairākas reizes vairāk laika un skaitļošanas jaudas, nekā nepieciešams.

Citiem vārdiem sakot, katrā neironu tīklā ir daudz mazāks tīkls, kuru var apmācīt sasniegt tādu pašu veiktspēju kā tā lielizmēra vecākajam tīklam. Šīs ir ne tikai aizraujošas ziņas AI pētniekiem. Šis atradums var atbloķēt jaunas lietojumprogrammas, no kurām dažas mēs vēl nevaram aptvert, kas varētu uzlabot mūsu ikdienas dzīvi. Vairāk par to vēlāk.

Bet vispirms iedziļināsimies neironu tīklu darbībā, lai saprastu, kāpēc tas ir iespējams.

Neironu tīkla diagramma, kas mācās atpazīt lauvu. DŽEFS KLUNS/EKRĀNŠĀCIJA

Kā darbojas neironu tīkli

Iespējams, esat redzējis neironu tīklus, kas attēloti diagrammās, piemēram, iepriekš: tie sastāv no vienkāršu skaitļošanas mezglu slāņiem, kas ir savienoti, lai aprēķinātu datu modeļus.

Savienojumi ir svarīgi. Pirms neironu tīkla apmācības šiem savienojumiem tiek piešķirtas nejaušas vērtības no 0 līdz 1, kas atspoguļo to intensitāti. (To sauc par inicializācijas procesu.) Apmācības laikā, kad tīkls tiek padots, piemēram, dzīvnieku fotogrāfiju sērijā, tas pielāgo un noregulē šīs intensitātes — līdzīgi kā jūsu smadzenes stiprina vai vājina dažādus neironu savienojumus, uzkrājot pieredzi. un zināšanas. Pēc apmācības galīgā savienojuma intensitāte tiek pastāvīgi izmantota, lai atpazītu dzīvniekus jaunos fotoattēlos.

Lai gan neironu tīklu mehānika ir labi saprotama, iemesls, kāpēc tie darbojas tā, kā tie darbojas, joprojām ir noslēpums. Tomēr, veicot daudzus eksperimentus, pētnieki ir novērojuši divas neironu tīklu īpašības, kas ir izrādījušās noderīgas.

Novērojums #1. Ja tīkls tiek inicializēts pirms apmācības procesa, vienmēr pastāv zināma iespējamība, ka nejauši piešķirtie savienojuma stiprumi nonāks neapmācāmā konfigurācijā. Citiem vārdiem sakot, neatkarīgi no tā, cik dzīvnieku fotoattēlu jūs barojat ar neironu tīklu, tas nesasniegs pienācīgu veiktspēju, un jums tas vienkārši jāinicializē jaunā konfigurācijā. Jo lielāks tīkls (jo vairāk slāņu un mezglu tam ir), jo mazāka iespējamība. Ja nelielu neironu tīklu var apmācīt tikai vienā no piecām inicializācijām, lielāku tīklu var apmācīt četrās no piecām. Atkal, kāpēc Tas, kas notiek, bija noslēpums, taču tāpēc pētnieki parasti izmanto ļoti lielus tīklus saviem dziļās mācīšanās uzdevumiem. Viņi vēlas palielināt savas izredzes sasniegt veiksmīgu modeli.

Novērojums #2. Sekas ir tādas, ka neironu tīkls parasti sākas lielāks nekā nepieciešams. Kad tas ir pabeigts, parasti tikai daļa savienojumu paliek spēcīgi, bet pārējie ir diezgan vāji — tik vāji, ka varat tos dzēst vai apgriezt, neietekmējot tīkla veiktspēju.

Jau daudzus gadus pētnieki ir izmantojuši šo otro novērojumu, lai samazinātu savus tīklus pēc apmācību, lai samazinātu laiku un skaitļošanas izmaksas, kas saistītas ar to vadīšanu. Bet neviens nedomāja, ka ir iespējams samazināt viņu tīklus pirms tam apmācību. Tika pieņemts, ka jāsāk ar pārāk lielu tīklu, un apmācības procesam bija jānorit savs gaita, lai nodalītu atbilstošos savienojumus no neatbilstošajiem.

Džonatans Frenkls, MIT doktorants, kurš bija darba līdzautors, apšaubīja šo pieņēmumu. Ja jums ir nepieciešams daudz mazāk savienojumu, nekā jūs sākāt, viņš saka, kāpēc mēs nevaram apmācīt mazāko tīklu bez papildu savienojumiem? Izrādās, ka vari.

Maikls Karbins (pa kreisi) un Džonatans Frenkls (pa labi), raksta autori. Džeisons Dorfmans, MIT CSAIL

Loterijas biļešu hipotēze

Atklājums ir atkarīgs no realitātes, ka inicializācijas laikā piešķirtie nejaušie savienojuma stiprumi patiesībā nav nejauši pēc sekām: tie izraisa dažādu tīkla daļu neveiksmi vai veiksmi, pirms pat notiek apmācība. Citiem vārdiem sakot, sākotnējā konfigurācija ietekmē to, kuru galīgo konfigurāciju tīkls sasniegs.

Koncentrējoties uz šo ideju, pētnieki atklāja, ka, ja pēc apmācības apgriežat pārāk lielu tīklu, jūs faktiski varat atkārtoti izmantot iegūto mazāko tīklu, lai apmācītu jaunus datus un saglabātu augstu veiktspēju, ja vien atiestatīsiet katru savienojumu šajā samazinātajā tīklā atpakaļ uz. tā sākotnējais spēks.

Pamatojoties uz šo atklājumu, Frenkls un viņa līdzautors Maikls Karbins, MIT docents, ierosina to, ko viņi sauc par loterijas biļešu hipotēzi. Ja nejauši inicializējat neironu tīkla savienojuma stiprumus, tas ir gandrīz kā loterijas biļešu maisiņa pirkšana. Jūs cerat, ka jūsu somā ir uzvaroša biļete, t.i., sākotnējā konfigurācija, kuru būs viegli apmācīt un kas ļaus izveidot veiksmīgu modeli.

Tas arī izskaidro, kāpēc novērojums Nr. 1 ir patiess. Sākt ar lielāku tīklu ir tas pats, kas iegādāties vairāk loterijas biļešu. Jūs nepalielināt spēku, ko veltāt savai dziļās mācīšanās problēmai; jūs vienkārši palielinat iespēju, ka jums būs uzvaroša konfigurācija. Kad esat atradis laimējušo konfigurāciju, jums vajadzētu būt iespējai to izmantot atkal un atkal, nevis turpināt atkārtot loteriju.

Nākamie soļi

Tas rada daudz jautājumu. Pirmkārt, kā atrast laimējušo biļeti? Savā dokumentā Frenkls un Karbins izmantoja brutālu pieeju, apmācot un apgriežot liela izmēra tīklu ar vienu datu kopu, lai iegūtu laimējušo biļeti citai datu kopai. Teorētiski vajadzētu būt daudz efektīvākiem veidiem, kā jau pašā sākumā atrast vai pat izstrādāt uzvarošu konfigurāciju.

Otrkārt, kādi ir uzvarošas konfigurācijas treniņu ierobežojumi? Iespējams, dažāda veida datiem un dažādiem padziļinātiem mācīšanās uzdevumiem būtu nepieciešamas dažādas konfigurācijas.

Treškārt, kāds ir mazākais iespējamais neironu tīkls, ar kuru jūs varat atbrīvoties, vienlaikus nodrošinot augstu veiktspēju? Frenkls atklāja, ka, izmantojot iteratīvu apmācību un atzarošanas procesu, viņš varēja konsekventi samazināt sākuma tīklu līdz 10% līdz 20% no tā sākotnējā lieluma. Bet viņš domā, ka pastāv iespēja, ka tā būs vēl mazāka.

Jau tagad daudzas AI kopienas pētniecības grupas ir sākušas veikt turpmākus pasākumus. Nesen pētnieks Prinstonā ķircināja rezultātus gaidāmo dokumentu, kurā aplūkots otrais jautājums. Uber komanda arī publicēja a jauns papīrs par vairākiem eksperimentiem, pētot metaforisko loterijas biļešu raksturu. Visvairāk pārsteidzoši viņi atklāja, ka, tiklīdz ir atrasta veiksmīga konfigurācija, tā jau sasniedz ievērojami labāku veiktspēju nekā sākotnējais neapmācītais lielizmēra tīkls. pirms tam jebkura apmācība. Citiem vārdiem sakot, tīkla atzarošana, lai iegūtu veiksmīgu konfigurāciju, pati par sevi ir svarīga apmācības metode.

Neironu tīkla nirvāna

Frenkls iztēlojas nākotni, kurā pētnieku kopienai būs atvērtā pirmkoda datubāze ar visām dažādajām atrastajām konfigurācijām ar aprakstiem, kādiem uzdevumiem tie ir piemēroti. Šo neironu tīklu viņš jokojot sauc par nirvānu. Viņš uzskata, ka tas ievērojami paātrinātu un demokratizētu AI izpēti, samazinot apmācības izmaksas un ātrumu, kā arī ļaujot cilvēkiem bez milzīgiem datu serveriem veikt šo darbu tieši mazos klēpjdatoros vai pat mobilajos tālruņos.

Tas varētu arī mainīt AI lietojumprogrammu būtību. Ja jūs varat apmācīt neironu tīklu lokāli ierīcē, nevis mākonī, varat uzlabot apmācības procesa ātrumu un datu drošību. Iedomājieties, piemēram, uz mašīnmācībām balstītu medicīnisko ierīci, kas varētu sevi uzlabot lietošanas laikā, nenosūtot pacienta datus uz Google vai Amazon serveriem.

Mēs nepārtraukti saskaramies ar to, ko varam apmācīt, saka Džeisons Josinskis, Uber AI Labs dibinātājs, kurš ir līdzautors Uber dokumentam, kas nozīmē lielākos tīklus, ko varat ievietot GPU vai visilgāko. paciest gaidīšanu, pirms mēs saņemam rezultātu. Ja pētnieki varētu izdomāt, kā no sākuma noteikt uzvarošās konfigurācijas, tas samazinātu neironu tīklu izmēru 10, pat 100 reizes. Iespēju griesti krasi palielinātos, atverot jaunu potenciālo lietojumu pasauli.

paslēpties