211service.com
Neironu tīkli mācās, ko atcerēties un ko aizmirst
Padziļināta mācīšanās maina veidu, kā mēs lietojam un domājam par mašīnām. Pašreizējie iemiesojumi ir labāki par cilvēkiem visu veidu uzdevumos, sākot no šaha un Go līdz sejas atpazīšanai un objektu atpazīšanai.
Taču daudzi mašīnmācības aspekti ievērojami atpaliek no cilvēka veiktspējas. Jo īpaši cilvēkiem ir ārkārtēja spēja pastāvīgi atjaunināt savas atmiņas ar vissvarīgākajām zināšanām, vienlaikus pārrakstot informāciju, kas vairs nav noderīga.
Tā ir svarīga prasme. Pasaule nodrošina nebeidzamu datu avotu, no kuriem lielai daļai nav nozīmes sarežģītajā izdzīvošanas biznesā, un lielāko daļu no kuriem nav iespējams saglabāt ierobežotā atmiņā. Tātad cilvēki un citas radības ir attīstījušas veidus, kā saglabāt svarīgas prasmes, vienlaikus aizmirstot nebūtiskās.
Neironu tīkli tagad tiek mācīti, kā aizmirst.
To nevar teikt par mašīnām. Jebkura prasme, ko viņi apgūst, tiek ātri pārrakstīta neatkarīgi no tā, cik svarīga tā ir. Pašlaik nav uzticama mehānisma, ko viņi varētu izmantot, lai šīs prasmes noteiktu prioritāti, izlemjot, ko atcerēties un ko aizmirst.
Šķiet, ka šodien tas mainīsies, pateicoties Rahafa Aljundi un viņa draugu darbam Lēvenas Universitātē Beļģijā un Facebook AI Research. Šie puiši ir parādījuši, ka pieeja, ko bioloģiskās sistēmas izmanto, lai mācītos un aizmirstu, var darboties arī ar mākslīgajiem neironu tīkliem.
Galvenais ir process, kas pazīstams kā hebiešu mācīšanās, ko 1940. gados pirmo reizi ierosināja kanādiešu psihologs Donalds Hebs, lai izskaidrotu veidu, kā smadzenes mācās, izmantojot sinaptisko plastiskumu. Heba teoriju var plaši apkopot kā šūnas, kas sašaurinās kopā.
Citiem vārdiem sakot, savienojumi starp neironiem kļūst stiprāki, ja tie šauj kopā, un tāpēc šos savienojumus ir grūtāk pārraut. Tā mēs mācāmies — atkārtota sinhronizēta neironu aktivizēšana padara savienojumus starp tiem stiprākus un grūtāk pārrakstāmus.
Tātad Aljundi un co ir izstrādājuši veidu, kā mākslīgie neironu tīkli darbojas vienādi. Viņi to dara, mērot izejas no neironu tīkla un pārraugot, cik jutīgas tās ir pret izmaiņām tīkla savienojumos.
Tas viņiem sniedz priekšstatu par to, kuri tīkla parametri ir vissvarīgākie un tāpēc tie ir jāsaglabā. Apgūstot jaunu uzdevumu, svarīgu parametru izmaiņas tiek sodītas, norāda komanda. Viņi saka, ka iegūtajam tīklam ir atmiņu apzinošas sinapses.
Viņi ir īstenojuši šo ideju, veicot testu kopumu, kurā neironu tīklam, kas apmācīts veikt vienu darbību, tiek sniegti dati, kas apmāca to darīt kaut ko citu. Piemēram, tīklam, kas apmācīts atpazīt ziedus, tiek parādīti putni. Pēc tam pētnieki atkal parāda ziedus, lai redzētu, cik daudz šīs prasmes ir saglabātas.
Neironu tīkli ar atmiņu zinošām sinapsēm šajos testos darbojas labāk nekā citi tīkli. Citiem vārdiem sakot, tie saglabā vairāk sākotnējās prasmes nekā tīkli bez šīs spējas, lai gan rezultāti noteikti ļauj uzlabot
Tomēr galvenais ir tas, ka komanda ir atradusi veidu, kā neironu tīkli var izmantot Hebbian mācīšanos. Mēs parādām, ka mūsu metodes lokālā versija ir tiešs Heba noteikuma pielietojums, nosakot svarīgos savienojumus starp neironiem, saka Aljundi un co.
Tas ietekmē mašīnmācības nākotni. Ja šie zinātnieki var uzlabot savu Hebbian mācīšanās versiju, tai vajadzētu padarīt mašīnas elastīgākas viņu mācībās. Un tas ļaus viņiem labāk pielāgoties reālajai pasaulei.
Atsauce: arxiv.org/abs/1711.09601 : Atmiņu apzinošas sinapses: mācīšanās, ko (ne) aizmirst