Ārkārtējā saikne starp dziļajiem neironu tīkliem un Visuma dabu

Pēdējo pāris gadu laikā dziļās mācīšanās metodes ir pārveidojušas mākslīgā intelekta pasauli. Viena pēc otras spējas un paņēmieni, par kuriem cilvēki kādreiz bija iedomājušies, bija unikāli mūsu pašu, ir sākuši krist arvien jaudīgāku mašīnu uzbrukumā. Dziļie neironu tīkli tagad ir labāki par cilvēkiem tādos uzdevumos kā sejas atpazīšana un objektu atpazīšana. Viņi ir apguvuši seno spēli Go un satriekuši labākos cilvēkus.

Bet ir problēma. Nav matemātiska iemesla, kāpēc slāņos sakārtotiem tīkliem vajadzētu tik labi risināt šos izaicinājumus. Matemātiķi ir apjukuši. Neskatoties uz milzīgajiem dziļo neironu tīklu panākumiem, neviens nav īsti pārliecināts, kā viņi sasniegs savus panākumus.

Mūsdienās tas mainās, pateicoties Henrija Lina darbam Hārvardas universitātē un Maksa Tegmarkam MIT. Šie puiši saka, ka iemesls, kāpēc matemātiķi ir tik apmulsuši, ir tas, ka atbilde ir atkarīga no Visuma rakstura. Citiem vārdiem sakot, atbilde ir drīzāk fizikas, nevis matemātikas režīmā.

Vispirms iestatīsim problēmu, izmantojot megabitu pelēktoņu attēla klasifikācijas piemēru, lai noteiktu, vai tajā ir redzams kaķis vai suns.

Šāds attēls sastāv no miljona pikseļu, no kuriem katrs var iegūt vienu no 256 pelēktoņu vērtībām. Tātad teorētiski var būt 2561000000 iespējamie attēli, un katram ir jāaprēķina, vai tajā ir redzams kaķis vai suns. Un tomēr neironu tīkli ar tikai tūkstošiem vai miljoniem parametru kaut kā viegli pārvalda šo klasifikācijas uzdevumu.

Matemātikas valodā neironu tīkli darbojas, tuvinot sarežģītas matemātiskās funkcijas ar vienkāršākām. Kad runa ir par kaķu un suņu attēlu klasificēšanu, neironu tīklam ir jāievieš funkcija, kas kā ievadi izmanto miljonu pelēktoņu pikseļu un izvada varbūtības sadalījumu tam, ko tas varētu attēlot.

Problēma ir tāda, ka matemātisku funkciju ir daudz vairāk nekā iespējamo tīklu, lai tās tuvinātu. Un tomēr dziļie neironu tīkli kaut kā saņem pareizo atbildi.

Tagad Lins un Tegmarks saka, ka ir sapratuši, kāpēc. Atbilde ir tāda, ka Visumu pārvalda niecīga visu iespējamo funkciju apakškopa. Citiem vārdiem sakot, kad fizikas likumi ir pierakstīti matemātiski, tos visus var aprakstīt ar funkcijām, kurām ir ievērojams vienkāršu īpašību kopums.

Tātad dziļajiem neironu tīkliem nav jātuvina neviena iespējamā matemātiskā funkcija, tikai neliela to apakškopa.

Lai to aplūkotu perspektīvā, apsveriet polinoma funkcijas secību, kas ir tās augstākā eksponenta lielums. Tātad kvadrātvienādojumam, piemēram, y=x2, ir 2. secība, vienādojumam y=x24 ir 24. secība un tā tālāk.

Acīmredzot kārtu skaits ir bezgalīgs, un tomēr fizikas likumos parādās tikai niecīga polinomu apakškopa. Tādu iemeslu dēļ, kas joprojām nav pilnībā izprasti, mūsu Visumu var precīzi aprakstīt ar zemas kārtas polinomu Hamiltoniešiem, saka Lins un Tegmarks. Parasti polinomu, kas apraksta fizikas likumus, secības ir no 2 līdz 4.

Fizikas likumiem ir arī citas svarīgas īpašības. Piemēram, tie parasti ir simetriski, kad runa ir par rotāciju un tulkošanu. Pagrieziet kaķi vai suni par 360 grādiem, un tas izskatās tāpat; pārtulko to par 10 metriem vai 100 metriem vai kilometru, un tas izskatīsies tāpat. Tas arī vienkāršo uzdevumu tuvināt kaķa vai suņa atpazīšanas procesu.

Šīs īpašības nozīmē, ka neironu tīkliem nav jātuvina iespējamo matemātisko funkciju bezgalība, bet tikai neliela vienkāršāko funkciju apakškopa.

Ir vēl viena Visuma īpašība, ko izmanto neironu tīkli. Tāda ir tās struktūras hierarhija. Elementārās daļiņas veido atomus, kas savukārt veido molekulas, šūnas, organismus, planētas, saules sistēmas, galaktikas utt., saka Lins un Tegmarks. Un sarežģītas struktūras bieži tiek veidotas, veicot vienkāršāku darbību secību.

Tāpēc svarīga ir arī neironu tīklu struktūra: slāņi šajos tīklos var tuvināt katru cēloņsakarības secības posmu.

Lins un Tegmarks sniedz piemēru par kosmisko mikroviļņu fona starojumu, Lielā sprādziena atbalsi, kas caurstrāvo Visumu. Pēdējos gados dažādi kosmosa kuģi ir kartējuši šo starojumu arvien augstākā izšķirtspējā. Un, protams, fiziķi ir neizpratnē par to, kāpēc šīs kartes iegūst tādā formā, kādā tās ir.

Tegmarks un Lins norāda, ka neatkarīgi no iemesla tas neapšaubāmi ir cēloņsakarības hierarhijas rezultāts. Kosmoloģisko parametru kopums (tumšās matērijas blīvums u.c.) nosaka mūsu Visuma blīvuma svārstību jaudas spektru, kas savukārt nosaka kosmiskā mikroviļņu fona starojuma modeli, kas mūs sasniedz no mūsu agrīnā Visuma, kas apvienojas ar priekšplāna radio. troksnis no mūsu galaktikas, lai izveidotu no frekvences atkarīgas debesu kartes, kuras reģistrē ar satelīta teleskopu, viņi saka.

Katrs no šiem cēloņsakarības slāņiem satur arvien vairāk datu. Ir tikai daži kosmoloģiskie parametri, bet kartes un tajās esošais troksnis sastāv no miljardiem skaitļu. Fizikas mērķis ir analizēt lielos skaitļus tādā veidā, kas atklāj mazākos.

Un, ja parādībām ir šāda hierarhiskā struktūra, neironu tīkli ievērojami atvieglo to analīzes procesu.

Mēs esam parādījuši, ka dziļas un lētas mācīšanās panākumi ir atkarīgi ne tikai no matemātikas, bet arī no fizikas, kas dod priekšroku dažām ārkārtīgi vienkāršu varbūtības sadalījumu klasēm, kuru modelēšanai dziļā mācīšanās ir unikāli piemērota, secina Lins un Tegmarks.

Tas ir interesants un svarīgs darbs ar būtiskām sekām. Mākslīgo neironu tīklu pamatā ir bioloģiskie tīkli. Tātad Lina un Tegmarka idejas ne tikai izskaidro, kāpēc dziļās mācīšanās mašīnas darbojas tik labi, bet arī izskaidro, kāpēc cilvēka smadzenes var izprast Visumu. Evolūcija ir kaut kādā veidā nostabilizējusies uz smadzeņu struktūru, kas ir ideāli piemērota Visuma sarežģītības izjaukšanai.

Šis darbs paver ceļu ievērojamam progresam mākslīgā intelekta jomā. Tagad, kad beidzot saprotam, kāpēc dziļie neironu tīkli darbojas tik labi, matemātiķi var sākt strādāt, pētot specifiskās matemātiskās īpašības, kas ļauj tiem darboties tik labi. Analītiskās izpratnes stiprināšana par dziļu mācīšanos var ieteikt veidus, kā to uzlabot, saka Lin un Tegmark.

Padziļināta mācīšanās pēdējos gados ir spērusi milzīgus soļus. Pateicoties šai uzlabotajai izpratnei, progresa ātrums noteikti paātrināsies.

Atsauce: arxiv.org/abs/1608.08225 : Kāpēc padziļināta un lēta mācīšanās darbojas tik labi?

paslēpties