Radikāli jauns neironu tīkla dizains varētu pārvarēt lielas problēmas AI

David Duvenaud et al.

Deivids Duvenauds sadarbojās projektā, kurā bija iekļauti medicīniskie dati, kad viņš saskārās ar būtisku AI trūkumu.

AI pētnieks Toronto Universitātē viņš vēlējās izveidot padziļinātas mācīšanās modeli, kas laika gaitā prognozētu pacienta veselību. Taču dati no medicīniskajiem dokumentiem ir netīri: dzīves laikā dažādu iemeslu dēļ jūs varat apmeklēt ārstu dažādos laikos, veicot mērījumus ar patvaļīgiem intervāliem. Tradicionālajam neironu tīklam ir grūti tikt galā ar to. Tās dizains paredz, ka tam ir jāmācās no datiem ar skaidriem novērošanas posmiem. Tādējādi tas ir slikts rīks nepārtrauktu procesu modelēšanai, īpaši tādu, kas laika gaitā tiek mērīti neregulāri.

Izaicinājums lika Duvenaudam un viņa līdzstrādniekiem universitātē un Vektoru institūtā pārveidot neironu tīklus, kā mēs tos pazīstam. Pagājušajā nedēļā viņu papīrs tika četru citu vidū par labāko rakstu Neironu informācijas apstrādes sistēmu konferencē, kas ir viena no lielākajām AI pētniecības sanāksmēm pasaulē.

Neironu tīkli ir galvenais mehānisms, kas dziļo mācīšanos padara tik spēcīgu. Tradicionālo neironu tīklu veido vienkāršu skaitļošanas mezglu slāņi, kas darbojas kopā, lai atrastu datu modeļus. Diskrētie slāņi neļauj tai efektīvi modelēt nepārtrauktus procesus (mēs tiksim pie tā).

Atbildot uz to, pētniecības grupas dizains pilnībā noņem slāņus. (Duvenauds ātri atzīmē, ka viņi nenāca klajā ar šo ideju. Viņi bija tikai pirmie, kas to īstenoja vispārināmā veidā.) Lai saprastu, kā tas ir iespējams, apskatīsim, ko slāņi dara vispirms.

Kā tradicionālais neironu tīkls pārveido lauvas attēlu par nosaukumu “lauva”. Džefs Klauns/Ekrānuzņēmums

Visizplatītākais neironu tīkla apmācības process (pazīstams arī kā uzraudzīta mācīšanās) ir saistīta ar marķētu datu kopas ievadīšanu. Pieņemsim, ka vēlaties izveidot sistēmu, kas atpazīst dažādus dzīvniekus. Jūs barojat neironu tīklu dzīvnieku attēlus, kas savienoti pārī ar atbilstošiem dzīvnieku nosaukumiem. Zem pārsega tas sāk atrisināt traku matemātisko mīklu. Tas aplūko visus attēlu un nosaukumu pārus un izdomā formulu, kas vienu (attēlu) droši pārvērš par otru (kategoriju). Kad tas ir izlaucis šo mīklu, tas var atkal un atkal izmantot formulu, lai pareizi klasificētu jaunus dzīvnieku fotoattēlus — lielāko daļu laika.

Taču vienas formulas atrašana, lai aprakstītu visu attēla pārveidošanu nosaukumā, būtu pārāk plaša un radītu zemas precizitātes modeli. Tas būtu kā mēģinājums izmantot vienu noteikumu, lai atšķirtu kaķus un suņus. Varētu teikt, ka suņiem ir izliektas ausis. Bet daži suņi to nedara, un daži kaķi darīt, tādējādi jūs iegūtu daudz viltus negatīvu un pozitīvu.

Šeit parādās neironu tīkla slāņi. Tie sadala transformācijas procesu posmos un ļauj tīklam atrast virkni formulu, no kurām katra apraksta procesa posmu. Tātad pirmais slānis var uzņemt visus pikseļus un izmantot formulu, lai izvēlētos, kuri no tiem ir visatbilstošākie kaķiem un suņiem. Otrajam slānim var izmantot citu, lai no pikseļu grupām izveidotu lielākus modeļus un noskaidrotu, vai attēlam ir ūsas vai ausis. Katrs nākamais slānis identificētu arvien sarežģītākas dzīvnieka pazīmes, līdz pēdējais slānis izlemj suni, pamatojoties uz uzkrātajiem aprēķiniem. Šis pakāpeniskais procesa sadalījums ļauj neironu tīklam izveidot sarežģītākus modeļus, kam savukārt vajadzētu radīt precīzākas prognozes.

Slāņa pieeja ir labi kalpojusi AI jomai, taču tai ir arī trūkums. Ja vēlaties modelēt kaut ko, kas laika gaitā nepārtraukti mainās, jums tas ir arī jāsadala atsevišķos posmos. Praksē, ja mēs atgrieztos pie piemēra par veselību, tas nozīmētu medicīnisko ierakstu grupēšanu ierobežotos periodos, piemēram, gados vai mēnešos. Varēja redzēt, kā tas būtu neprecīzi. Ja jūs vērsāties pie ārsta 11. janvārī un vēlreiz 16. novembrī, abu apmeklējumu dati tiktu sagrupēti vienā un tajā pašā gadā.

Tāpēc labākais veids, kā modelēt realitāti pēc iespējas tuvāk, ir pievienot vairāk slāņu, lai palielinātu precizitāti. (Kāpēc gan nesadalīt savus rekordus dienās vai pat stundās? Pie ārsta būtu varējis doties divas reizes vienā dienā!) Tas nozīmē, ka šim darbam vislabākajam neironu tīklam būtu bezgalīgs skaits slāņu, lai modelētu bezgalīgi mazu pakāpju izmaiņas. Jautājums ir par to, vai šī ideja ir pat praktiska.

Ja tas sāk izklausīties pazīstami, tas ir tāpēc, ka esam nonākuši tieši pie tādas problēmas, kuras atrisināšanai tika izgudrots aprēķins. Calculus sniedz visus šos jaukos vienādojumus, kā aprēķināt izmaiņu virkni bezgalīgi maziem soļiem, citiem vārdiem sakot, tas pasargā jūs no murga par nepārtrauktu diskrētu vienību izmaiņu modelēšanu. Šī ir Duvenaud un viņa līdzstrādnieku darba burvība: tas aizstāj slāņus ar aprēķinu vienādojumiem.

Rezultāts vairs nav pat tīkls; vairs nav mezglu un savienojumu, ir tikai viena nepārtraukta aprēķinu plāksne. Tomēr, ievērojot ierasto principu, pētnieki nosauca šo dizainu par ODE tīklu — ODE parastajiem diferenciālvienādojumiem. (Viņiem joprojām ir jāstrādā pie sava zīmola izveides.)

Ja jūsu smadzenes sāp (ticiet man, arī manas), šeit ir jauka analoģija, ko Diveno izmanto, lai to visu savienotu. Apsveriet nepārtrauktu mūzikas instrumentu, piemēram, vijoli, kur varat bīdīt roku pa stīgu, lai atskaņotu jebkuru vēlamo frekvenci; tagad apsveriet tādu diskrētu kā klavieres, kur jums ir noteikts taustiņu skaits, lai atskaņotu ierobežotu skaitu frekvenču. Tradicionālais neironu tīkls ir kā klavieres: mēģiniet, lai arī kā jūs varētu, jūs nevarēsit atskaņot slaidu. Slaidu varēsiet tuvināt, tikai atskaņojot skalu. Pat ja jūs noregulētu klavieres tā, lai notu frekvences būtu ļoti tuvu viena otrai, jūs joprojām tuvinātu slaidu ar skalu. Pārslēgšanās uz ODE tīklu ir kā klavieru pārslēgšana uz vijoli. Tas ne vienmēr ir pareizais rīks, taču tas ir vairāk piemērots noteiktiem uzdevumiem.

Papildus tam, ka ODE tīkls spēj modelēt nepārtrauktas izmaiņas, tas arī maina noteiktus apmācības aspektus. Izmantojot tradicionālo neironu tīklu, apmācības sākumā ir jānorāda tīkla slāņu skaits, pēc tam jāgaida, līdz apmācība ir pabeigta, lai uzzinātu, cik precīzs ir modelis. Jaunā metode ļauj vispirms norādīt vēlamo precizitāti, un tā atradīs visefektīvāko veidu, kā sevi apmācīt šīs kļūdas robežās. No otras puses, jūs jau no paša sākuma zināt, cik daudz laika prasīs tradicionālā neironu tīkla apmācība. Ne tik daudz, izmantojot ODE tīklu. Šie ir kompromisi, kas pētniekiem būs jāveic, skaidro Duvenaud, kad viņi izlemj, kuru tehniku ​​izmantot nākotnē.

Pašlaik, papīrs piedāvā dizaina koncepcijas pierādījumu, taču tas vēl nav gatavs vislabākajam laikam, saka Duvenaud. Tāpat kā jebkura sākotnējā šajā jomā piedāvātā tehnika, tā joprojām ir jāpilnveido, jāizmēģina un jāuzlabo, līdz to var nodot ražošanā. Taču šai metodei ir potenciāls satricināt situāciju — tāpat kā Ians Gudfelovs publicēja savu rakstu par GAN.

Daudzi no galvenajiem sasniegumiem mašīnmācības jomā ir gūti neironu tīklu jomā, saka Ričards Zemels, Vector Institute pētniecības direktors, kurš nebija iesaistīts rakstā. Šis dokuments, iespējams, veicinās virkni turpmāku darbu, jo īpaši laika rindu modeļos, kas ir pamats AI lietojumprogrammām, piemēram, veselības aprūpei.

Vienkārši atcerieties, ka tad, kad ODE tīkli uzsprāgst, vispirms par to lasiet šeit.

Labojumi. Iepriekšējā raksta versijā attēls raksta augšdaļā bija nepareizi nosaukts kā parasts diferenciālvienādojums. Tas parāda neironu parasto diferenciālvienādojumu trajektorijas. Raksts ir arī atjaunināts, lai jauno dizainu dēvētu par “ODE tīklu”, nevis “ODE risinātāju”, lai izvairītos no sajaukšanas ar esošajiem ODE risinātājiem no citām jomām.

__

Šis raksts sākotnēji parādījās mūsu AI informatīvajā izdevumā The Algorithm. Lai tas tiktu piegādāts tieši jūsu iesūtnē, abonējiet šeit bez maksas.

paslēpties