Algoritms, kas mācās, izmantojot atlīdzību, var parādīt, kā darbojas arī mūsu smadzenes

Neironu ceļi Wikimedia Commons

1951. gadā Mārvins Minskis, toreizējais Hārvardas students, aizņēmās novērojumus no dzīvnieku uzvedības, lai mēģinātu izveidot inteliģentu mašīnu. Balstoties uz idejām no fiziologa Ivana Pavlova darba, kurš slaveni izmantoja suņus, lai parādītu, kā dzīvnieki mācās, izmantojot sodus un atlīdzības, Minskis izveidoja datoru kas varētu nepārtraukti mācīties, izmantojot līdzīgu pastiprinājumu, lai atrisinātu virtuālo labirintu.

Tajā laikā neirozinātniekiem vēl bija jāizdomā mehānismi smadzenēs, kas ļauj dzīvniekiem mācīties šādā veidā. Taču Minskis joprojām spēja brīvi atdarināt uzvedību, tādējādi attīstot mākslīgo intelektu. Vairākas desmitgades vēlāk, kad pastiprināšanas mācības turpināja nobriest, tā savukārt palīdzēja neirozinātnes jomai atklāt šie mehānismi, iekļaujoties labvēlīgā attīstības ciklā starp abām jomām.

Iekšā publicēts papīrs Šodien vietnē Nature DeepMind, Alphabet AI meitasuzņēmums, atkal ir izmantojis mācības, kas gūtas pastiprināšanas mācībās, lai ierosinātu jaunu teoriju par atalgojuma mehānismiem mūsu smadzenēs. Hipotēze, ko atbalsta sākotnējie eksperimentālie atklājumi, varēja ne tikai uzlabot mūsu izpratni par garīgo veselību un motivāciju. Tas varētu arī apstiprināt pašreizējo AI pētniecības virzienu, lai veidotu vairāk cilvēkiem līdzīgu vispārējo inteliģenci.

Augstā līmenī pastiprināšanas mācīšanās notiek pēc Pavlova suņu atziņas: aģentam ir iespējams iemācīt apgūt sarežģītus, jaunus uzdevumus, izmantojot tikai pozitīvas un negatīvas atsauksmes. Algoritms sāk apgūt piešķirto uzdevumu, nejauši prognozējot, kura darbība varētu nopelnīt atlīdzību. Pēc tam tas veic darbību, novēro reālo atlīdzību un pielāgo savu prognozi, pamatojoties uz kļūdas robežu. Miljoniem vai pat miljardiem izmēģinājumu algoritma prognozēšanas kļūdas saplūst līdz nullei, un tad tas precīzi zina, kuras darbības jāveic, lai maksimāli palielinātu atlīdzību un tādējādi izpildītu uzdevumu.

Izrādās, ka smadzeņu atalgojuma sistēma darbojas aptuveni tādā pašā veidā — atklājums, kas izdarīts deviņdesmitajos gados, iedvesmojoties no pastiprināšanas-mācību algoritmiem. Kad cilvēks vai dzīvnieks gatavojas veikt kādu darbību, tā dopamīna neironi prognozē gaidāmo atlīdzību. Kad faktiskā atlīdzība ir saņemta, viņi izdala dopamīna daudzumu, kas atbilst prognozēšanas kļūdai. Labāka atlīdzība, nekā gaidīts, izraisa spēcīgu dopamīna izdalīšanos, savukārt sliktāka atlīdzība, nekā gaidīts, nomāc ķīmiskās vielas ražošanu. Citiem vārdiem sakot, dopamīns kalpo kā korekcijas signāls, liekot neironiem pielāgot savas prognozes, līdz tās saplūst ar realitāti. Šī parādība, kas pazīstama kā atlīdzības prognozēšanas kļūda, darbojas līdzīgi pastiprināšanas-mācību algoritmam.

DeepMind jaunais dokuments balstās uz ciešo saikni starp šiem dabiskajiem un mākslīgajiem mācību mehānismiem. 2017. gadā tās pētnieki ieviesa uzlabotu pastiprināšanas-mācību algoritmu, kas kopš tā laika ir atbloķējis arvien iespaidīgāku veiktspēju dažādos uzdevumos. Viņi tagad uzskata, ka šī jaunā metode varētu piedāvāt vēl precīzāku skaidrojumu par dopamīna neironu darbību smadzenēs.

Konkrēti, uzlabotais algoritms maina veidu, kā tas prognozē atlīdzību. Kamēr vecā pieeja aplēsa atlīdzību kā vienu skaitli, kas bija vienāds ar vidējo paredzamo rezultātu, jaunā pieeja tos precīzāk attēlo kā sadalījumu. (Padomājiet par spēļu automātu: jūs varat laimēt vai zaudēt pēc kāda sadalījuma. Bet nekādā gadījumā jūs nekad nesaņemtu vidējo paredzamo rezultātu.)

Modifikācija ļauj izvirzīt jaunu hipotēzi: vai dopamīna neironi arī prognozē atlīdzību tādā pašā izplatīšanas veidā?

Lai pārbaudītu šo teoriju, DeepMind sadarbojās ar grupu Hārvardā, lai novērotu dopamīna neironu uzvedību pelēm. Viņi noteica pelēm uzdevumu un apbalvoja tās, pamatojoties uz metamo kauliņu, mērot to dopamīna neironu šaušanas modeļus. Viņi atklāja, ka katrs neirons izdala dažādus dopamīna daudzumus, kas nozīmē, ka viņi visi bija paredzējuši atšķirīgus rezultātus. Lai gan daži bija pārāk optimistiski, paredzot lielāku atlīdzību, nekā faktiski saņēma, citi bija pesimistiskāki, nosodot realitāti. Kad pētnieki iezīmēja šo prognožu sadalījumu, tie rūpīgi sekoja faktisko atlīdzību sadalījumam. Šie dati sniedz pārliecinošus pierādījumus tam, ka smadzenes patiešām izmanto sadales atlīdzības prognozes, lai stiprinātu savu mācību algoritmu.

Mērot dopamīna neironu uzvedību pelēm, pētnieki atklāja, ka neironu prognožu sadalījums (dekodēts) cieši sekoja faktisko atlīdzību sadalījumam (patiesība). DeepMind

Tas ir jauks paplašinājums dopamīna kodēšanas jēdzienam atalgojuma prognozēšanas kļūdai, e-pastā rakstīja Volframs Šulcs, dopamīna neironu uzvedības pionieris, kurš nebija iesaistīts pētījumā. Tas ir pārsteidzoši, kā šī ļoti vienkāršā dopamīna reakcija paredzami seko intuitīviem pamata bioloģisko mācību procesu modeļiem, kas tagad kļūst par AI sastāvdaļu.

Pētījums ietekmē gan AI, gan neirozinātni. Pirmkārt, tas apstiprina izplatīšanas pastiprināšanas mācīšanos kā daudzsološu ceļu uz progresīvākām AI iespējām. Ja smadzenes to izmanto, tā, iespējams, ir laba ideja, preses brīfingā sacīja Mets Botviniks, DeepMind neirozinātnes pētījumu direktors un viens no šī dokumenta vadošajiem autoriem. Tas mums norāda, ka šī ir skaitļošanas tehnika, kas var tikt mērogota reālās pasaules situācijās. Tas labi iederēsies ar citiem skaitļošanas procesiem.

Otrkārt, tas varētu piedāvāt svarīgu atjauninājumu vienai no kanoniskajām teorijām neirozinātnē par atalgojuma sistēmām smadzenēs, kas savukārt varētu uzlabot mūsu izpratni par visu, sākot no motivācijas līdz garīgajai veselībai. Ko tas varētu nozīmēt, piemēram, pesimistiski un optimistiski dopamīna neironi? Ja smadzenes selektīvi klausītos tikai vienu vai otru, vai tas varētu izraisīt ķīmisku nelīdzsvarotību un izraisīt depresiju?

Būtībā, turpinot dekodēt procesus smadzenēs, rezultāti arī atklāj to, kas rada cilvēka intelektu. Tas dod mums jaunu skatījumu uz to, kas notiek mūsu smadzenēs ikdienas dzīvē, sacīja Botviniks.

paslēpties