Padziļināta mācīšanās varētu atklāt, kāpēc pasaule darbojas tā, kā tā darbojas

Apgāžamies domino kauliņu attēls Getty

Šonedēļ AI pētnieku kopiena ir pulcējusies Ņūorleānā, lai Starptautiskā konference par mācīšanās reprezentācijām (ICLR, izrunā eye-clear), viena no tās lielākajām ikgadējām konferencēm. Ir vairāk nekā 3000 dalībnieku un 1500 papīra iesniegumu, padarot to par vienu no svarīgākajiem forumiem jaunu ideju apmaiņai šajā jomā.

Šogad sarunas un pieņemtie dokumenti ir lielā mērā vērsti uz četru galveno izaicinājumu risināšanu dziļās mācīšanās jomā: godīgums, drošība, vispārināmība un cēloņsakarība. Ja esat sekojis līdzi MIT Technology Review pārklājumam, jūs atpazīsit pirmos trīs. Mēs esam runājuši par to, kā mašīnmācības algoritmi to pašreizējā stāvoklī ir neobjektīvi, pakļauti pretrunīgiem uzbrukumiem un neticami ierobežoti attiecībā uz to spēju vispārināt modeļus, ko tie atrod mācību datu kopā vairākām lietojumprogrammām. Tagad pētnieku kopiena ir aizņemta, cenšoties padarīt tehnoloģiju pietiekami sarežģītu, lai mazinātu šīs nepilnības.

Tas, par ko mēs daudz neesam runājuši, ir pēdējais izaicinājums: cēloņsakarība. Tas ir tas, par ko pētnieki jau kādu laiku ir neizpratnē. Mašīnmācība lieliski palīdz atrast korelācijas datos, bet vai to kādreiz var izdomāt cēloņsakarība ? Šāds sasniegums būtu milzīgs pavērsiens: ja algoritmi varētu mums palīdzēt izgaismot dažādu parādību cēloņus un sekas sarežģītās sistēmās, tie padziļinātu mūsu izpratni par pasauli un atbloķētu jaudīgākus instrumentus, lai to ietekmētu.

Pirmdien pārpildītā telpā slavenais pētnieks Leons Botu, kurš tagad strādā Facebook AI pētniecības nodaļā un Ņujorkas universitātē, izstrādāja jaunu sistēmu, pie kuras viņš kopā ar līdzstrādniekiem strādāja, lai noskaidrotu, kā mēs varētu tur nokļūt. Šeit ir mans viņa runas kopsavilkums. Varat arī noskatīties to pilnā apjomā zemāk, sākot no pulksten 12:00.

Ideja #1

Attēlu paraugi no MNIST datu kopas. Wikipedia

Sāksim ar Botu un viņa komandas pirmo lielo ideju: jaunu domāšanas veidu par cēloņsakarību. Pieņemsim, ka vēlaties izveidot datorredzes sistēmu, kas atpazīst ar roku rakstītus skaitļus. (Tas ir klasiska ievada problēma kurā tiek izmantota plaši pieejamā MNIST datu kopa, kas attēlota iepriekš.) Jūs apmācīsit neironu tīklu, izmantojot tonnām ar roku rakstītu skaitļu attēlu, uz kuriem katrs ir marķēts ar to attēloto skaitļu, un galu galā iegūsit diezgan pienācīgu sistēmu jaunu atpazīšanai, kādu tas nekad nav bijis. iepriekš redzēts.

Bet pieņemsim, ka jūsu apmācības datu kopa ir nedaudz pārveidota un katram no ar roku rakstītajiem cipariem ir arī saistīta krāsa — sarkana vai zaļa. Apturiet savu neticību uz brīdi un iedomājieties, ka nezināt, vai marķējuma krāsa vai forma ir labāka cipara prognoze. Mūsdienās standarta prakse ir vienkārši marķēt katru apmācības datu daļu ar abām funkcijām un ievadīt tos neironu tīklā, lai tas izlemtu.

Paraugi no krāsainas MNIST datu kopas. Leons Botu

Lūk, kur lietas kļūst interesantas. Krāsainā MNIST datu kopa ir apzināti maldinoša. Atgriežoties reālajā pasaulē, mēs zinām, ka marķējuma krāsai nav nekādas nozīmes, taču šajā konkrētajā datu kopā krāsa patiesībā ir spēcīgāka cipara prognoze nekā tā forma. Tātad mūsu neironu tīkls iemācās izmantot krāsu kā primāro prognozētāju. Tas ir labi, ja mēs pēc tam izmantojam tīklu, lai atpazītu citus ar roku rakstītus skaitļus, kas atbilst tiem pašiem krāsu modeļiem. Taču veiktspēja pilnībā pasliktinās, ja mainām skaitļu krāsas. (Kad Botu un viņa līdzstrādnieki izspēlēja šo domu eksperimentu ar reāliem apmācības datiem un reālu neironu tīklu, viņi sasniedza 84,3% atpazīšanas precizitāti pirmajā scenārijā un 10% precizitāti otrajā.)

Citiem vārdiem sakot, neironu tīkls atrada to, ko Botto sauc par viltus korelāciju, kas padara to pilnīgi bezjēdzīgu ārpus šaurā konteksta, kurā tas tika apmācīts. Teorētiski, ja jūs varētu atbrīvoties no visām neīstajām korelācijām mašīnmācības modelī, jums paliktu tikai nemainīgas — tās, kas ir patiesas neatkarīgi no konteksta.

Nemainība savukārt ļautu izprast cēloņsakarību, skaidro Bottou. Ja jūs zināt sistēmas nemainīgās īpašības un zināt sistēmā veikto iejaukšanos, jums vajadzētu spēt secināt šīs iejaukšanās sekas. Piemēram, ja zināt, ka ar roku rakstīta cipara forma vienmēr nosaka tā nozīmi, tad varat secināt, ka, mainot tā formu (cēloņu), mainīsies tā nozīme (efekts). Cits piemērs: ja zināt, ka visi objekti ir pakļauti gravitācijas likumam, tad varat secināt, ka, atlaižot bumbu (cēlonis), tā nokritīs zemē (efekts).

Acīmredzot šie ir vienkārši cēloņu un seku piemēri, kuru pamatā ir mums jau zināmas nemainīgas īpašības, taču padomājiet, kā šo ideju varētu izmantot daudz sarežģītākām sistēmām, kuras mēs vēl nesaprotam. Ko darīt, ja mēs varētu atrast, piemēram, mūsu ekonomisko sistēmu nemainīgās īpašības, lai mēs varētu saprast universālā pamata ienākuma ieviešanas sekas? Vai arī Zemes klimata sistēmas nemainīgās īpašības, lai mēs varētu novērtēt dažādu ģeoinženieru paņēmienu ietekmi?

Ideja #2

Tātad, kā mēs varam atbrīvoties no šīm neīstajām korelācijām? Šī ir Botou komandas otrā lielā ideja. Pašreizējā mašīnmācības praksē noklusējuma intuīcija ir apkopot pēc iespējas vairāk dažādu un reprezentatīvu datu vienā apmācību komplektā. Bet Botou saka, ka šī pieeja rada sliktu pakalpojumu. Dažādi dati, kas nāk no dažādiem kontekstiem — neatkarīgi no tā, vai tie ir savākti dažādos laikos, dažādās vietās vai dažādos eksperimentālos apstākļos, ir jāsaglabā kā atsevišķas kopas, nevis jāsajauc un jāapvieno. Kad tie tiek konsolidēti, tāpat kā tagad, svarīga kontekstuālā informācija pazūd, tādējādi radot daudz lielāku viltus korelāciju iespējamību.

Ar vairākām kontekstam specifiskām datu kopām neironu tīkla apmācība ir ļoti atšķirīga. Tīkls vairs nevar atrast korelācijas, kas ir patiesas tikai vienā daudzveidīgā apmācības datu kopā; tai jāatrod korelācijas, kas ir nemainīgas visās dažādajās datu kopās. Un, ja šīs kopas ir gudri atlasītas no pilna kontekstu spektra, arī galīgajām korelācijām ir cieši jāatbilst pamata patiesības nemainīgajām īpašībām.

Tāpēc vēlreiz atgriezīsimies pie mūsu vienkāršā krāsainā MNIST piemēra. Balstoties uz savu teoriju par nemainīgu īpašību atrašanu, Botu un līdzstrādnieki atkārtoti veica sākotnējo eksperimentu. Šoreiz viņi izmantoja divas krāsainas MNIST datu kopas, katra ar dažādiem krāsu modeļiem. Pēc tam viņi apmācīja savu neironu tīklu, lai atrastu korelācijas, kas bija patiesas abās grupās. Kad viņi testēja šo uzlaboto modeli ar jauniem numuriem ar vienādiem un apgrieztiem krāsu modeļiem, tas abiem sasniedza 70% atpazīšanas precizitāti. Rezultāti pierādīja, ka neironu tīkls ir iemācījies neņemt vērā krāsu un koncentrēties tikai uz marķējumu formām.

Botou saka, ka viņa komandas darbs pie šīm idejām nav paveikts, un pētnieku kopienai būs vajadzīgs zināms laiks, lai pārbaudītu metodes, kas saistītas ar problēmām, kas ir sarežģītākas par krāsainiem skaitļiem. Taču sistēma norāda uz dziļas mācīšanās potenciālu, lai palīdzētu mums saprast, kāpēc lietas notiek, un tādējādi dod mums lielāku kontroli pār mūsu likteņiem.

paslēpties