Facebook ir neironu tīkls, kas var veikt progresīvu matemātiku

Šis ir izaicinājums matemātiski noskaņotajiem jūsu vidū. Atrisiniet šādu diferenciālvienādojumu priekš Y :

Jums ir 30 sekundes. Ātri! Nekādas dauzīšanās.

Atbilde, protams, ir:

Ja nevarējāt atrast risinājumu, nejūtieties pārāk slikti. Šis izteiciens ir tik viltīgs, ka neizdevās arī dažādas jaudīgas matemātikas programmatūras pakotnes pat pēc 30 sekunžu skaitļu kraušanas.

Tomēr šodien Gijoms Lempls un Fransuā Čārtons no Facebook AI izpētes Parīzē saka, ka ir izstrādājuši algoritmu, kas paveic šo darbu, pārdomājot tikai mirkli. Šie puiši ir apmācījuši neironu tīklu, lai veiktu nepieciešamo simbolisko argumentāciju, lai pirmo reizi atšķirtu un integrētu matemātiskās izteiksmes. Darbs ir nozīmīgs solis ceļā uz spēcīgāku matemātisko spriešanu un jaunu neironu tīklu pielietošanas veidu ārpus tradicionālajiem modeļu atpazīšanas uzdevumiem.

Pirmkārt, nedaudz fona. Neironu tīkli ir guvuši milzīgus panākumus tādu modeļu atpazīšanas uzdevumos kā sejas un objektu atpazīšana, noteikta veida dabiskās valodas apstrāde un pat tādu spēļu kā šahs, Go un Space Invaders spēlēšana.

Bet, neskatoties uz daudzām pūlēm, neviens nav spējis viņus apmācīt veikt simboliskus spriešanas uzdevumus, piemēram, tos, kas saistīti ar matemātiku. Labākais, ko neironu tīkli ir sasnieguši, ir veselu skaitļu saskaitīšana un reizināšana.

Gan neironu tīkliem, gan cilvēkiem viena no grūtībām, kas rodas, izmantojot uzlabotas matemātiskās izteiksmes, ir to saīsinājums, uz kuru tie paļaujas. Piemēram, izteiksme x 3 ir īss rakstīšanas veids x reizināts ar x reizināts ar x . Šajā piemērā reizināšana ir saīsinājums atkārtotai saskaitīšanai, kas pati par sevi ir saīsinājums divu apvienoto lielumu kopējai vērtībai.

Ir viegli saprast, ka pat vienkārša matemātiska izteiksme ir ļoti saīsināts daudz vienkāršāku matemātisko darbību secības apraksts.

Tāpēc nav pārsteigums, ka neironu tīkli ir cīnījušies ar šāda veida loģiku. Ja viņi nezina, ko apzīmē stenogrāfija, viņiem ir maza iespēja iemācīties to lietot. Patiešām, cilvēkiem ir līdzīga problēma, kas bieži tiek ieaudzināta jau no agras bērnības.

Tomēr fundamentālā līmenī tādi procesi kā integrācija un diferenciācija joprojām ietver modeļu atpazīšanas uzdevumus, kaut arī tos slēpj matemātiskais saīsinājums.

Ievadiet Lemplu un Čārtonu, kuri ir izdomājuši elegantu veidu, kā izpakot matemātisko stenogrāfiju tā pamatvienībās. Pēc tam viņi māca neironu tīklam atpazīt matemātiskās manipulācijas modeļus, kas ir līdzvērtīgi integrācijai un diferenciācijai. Visbeidzot, viņi ļauj neironu tīklam atbrīvoties no izteiksmēm, kuras tas nekad nav redzējis, un salīdzina rezultātus ar atbildēm, kas iegūtas no tradicionālajiem risinātājiem, piemēram, Mathematica un Matlab.

Šī procesa pirmajā daļā ir jāsadala matemātiskās izteiksmes to sastāvdaļās. Lample un Charton to dara, attēlojot izteiksmes kā kokam līdzīgas struktūras. Šo koku lapas ir skaitļi, konstantes un tādi mainīgie lielumi x ; iekšējie mezgli ir tādi operatori kā saskaitīšana, reizināšana, diferencēšana ar cieņu un tā tālāk.

Piemēram, izteiksmi 2 + 3 x (5+2) var uzrakstīt šādi:

Un izteiksme

ir:

Un tā tālāk.

Koki ir vienādi, ja tie ir matemātiski līdzvērtīgi. Piemēram,
2 + 3 = 5 = 12 - 7 = 1 x 5 ir līdzvērtīgi; tāpēc arī viņu koki ir līdzvērtīgi.

Daudzas matemātiskās darbības ir vieglāk izpildāmas šādā veidā. Piemēram, izteiksmes vienkāršošana nozīmē īsāka līdzvērtīga koka attēlojuma atrašanu, piemēram, Lempls un Čārtons.

Šos kokus var rakstīt arī kā secības, ņemot katru mezglu pēc kārtas. Šajā formā tie ir gatavi apstrādei, izmantojot neironu tīkla pieeju, ko sauc par seq2seq.

Interesanti, ka šo pieeju bieži izmanto arī mašīntulkošanai, kur vārdu secība vienā valodā ir jāpārtulko vārdu secībā citā valodā. Patiešām, Lample un Charton saka, ka viņu pieeja būtībā uzskata matemātiku kā dabisku valodu.

Nākamais posms ir apmācības process, un tam ir nepieciešama milzīga piemēru datubāze, no kuras mācīties. Lample un Charton izveido šo datu bāzi, nejauši apkopojot matemātiskās izteiksmes no bināro operatoru bibliotēkas, piemēram, saskaitīšanas, reizināšanas utt.; unāri operatori, piemēram, cos, sin un exp; un mainīgo, veselu skaitļu un konstantu kopa, piemēram, π un e. Tie arī ierobežo iekšējo mezglu skaitu, lai vienādojumi nekļūtu pārāk lieli.

Pat ar salīdzinoši nelielu mezglu un matemātisko komponentu skaitu iespējamo izteiksmju skaits ir milzīgs. Katrs nejaušais vienādojums tiek integrēts un diferencēts, izmantojot datoralgebras sistēmu. Jebkura izteiksme, kuru nevar integrēt, tiek atmesta.

Tādā veidā pētnieki ģenerē apjomīgu apmācību datu kopu, kas sastāv, piemēram, no 80 miljoniem pirmās un otrās kārtas diferenciālvienādojumu piemēru un 20 miljoniem izteiksmju piemēru, kas integrēti pa daļām.

Sasmalcinot šo datu kopu, neironu tīkls uzzina, kā aprēķināt dotās matemātiskās izteiksmes atvasinājumu vai integrāli.

Visbeidzot, Lempls un Čārtons attīstīja savu neironu tīklu, ievadot tam 5000 izteiksmju, ko tas nekad iepriekš nav redzējis, un salīdzinot rezultātus, ko tas rada 500 gadījumos ar tiem, kas iegūti no komerciāli pieejamiem risinātājiem, piemēram, Maple, Matlab un Mathematica.

Šie risinātāji izmanto algoritmisku pieeju, ko 1960. gados izstrādāja amerikāņu matemātiķis Roberts Rišs. Tomēr Riša algoritms ir milzīgs, jo integrācijai vien ir līdz 100 lappusēm. Tātad simboliskās algebras programmatūra bieži izmanto samazinātas versijas, lai paātrinātu darbību.

Salīdzinājumi starp tiem un neironu tīkla pieeju ir atklājoši. Veicot visus uzdevumus, mēs novērojam, ka mūsu modelis ievērojami pārspēj Mathematica, saka pētnieki. Izmantojot funkciju integrāciju, mūsu modelis iegūst gandrīz 100% precizitāti, savukārt Mathematica tik tikko sasniedz 85%. Un Maple un Matlab pakotnes darbojas mazāk labi nekā vidēji Mathematica.

Daudzos gadījumos parastie risinātāji nespēj atrast risinājumu vispār, jo ir dotas 30 sekundes, lai mēģinātu. Salīdzinājumam, neironu tīkls aizņem apmēram sekundi, lai atrastu savus risinājumus. Piemērs šīs lapas augšpusē ir viens no tiem.

Interesants rezultāts ir tāds, ka neironu tīkls bieži vien atrod vairākus līdzvērtīgus risinājumus vienai un tai pašai problēmai. Tas ir tāpēc, ka matemātiskās izteiksmes parasti var uzrakstīt dažādos veidos.

Šī spēja pētniekiem ir kaut kas aizraujošs noslēpums. Modeļa spēja atgūt līdzvērtīgas izteiksmes bez apmācības ir ļoti intriģējoša, saka Lampls un Čārtons.

Tas ir nozīmīgs izrāviens. Cik mums ir zināms, neviens pētījums nav pētījis neironu tīklu spēju noteikt matemātisko izteiksmju modeļus, saka pāris.

Tagad, kad tie ir iegūti, rezultātam ir milzīgs potenciāls arvien svarīgākajā un sarežģītākajā skaitļošanas matemātikas pasaulē.

Pētnieki neatklāj Facebook plānus šai pieejai. Taču nav grūti saprast, kā tas varētu piedāvāt savu simboliskās algebras pakalpojumu, kas pārspēj tirgus līderus.

Tomēr konkurenti, visticamāk, nesēdēs uz vietas. Gaidiet varenu cīņu skaitļošanas matemātikas pasaulē.

Atsauce: arxiv.org/abs/1912.01412 : dziļa simboliskās matemātikas mācīšanās

paslēpties