Google slepenais starta uzņēmums DeepMind iepazīstina ar 'neironu Tjūringa mašīnu'

Viens no lielākajiem neirozinātnes izaicinājumiem ir izprast īstermiņa darba atmiņu cilvēka smadzenēs. Tajā pašā laikā datorzinātnieki ļoti vēlētos reproducēt tāda paša veida atmiņu in silico .

Šodien Google slepenais starta uzņēmums DeepMind, kuru tā iegādājās par 400 miljoniem ASV dolāru šī gada sākumā, atklāj datora prototipu, kas mēģina atdarināt dažas cilvēka smadzeņu īslaicīgās darba atmiņas īpašības. Jaunais dators ir neironu tīkla veids, kas ir pielāgots darbam ar ārējo atmiņu. Rezultāts ir dators, kas mācās, saglabājot atmiņas, un vēlāk var tās izgūt, lai veiktu loģiskus uzdevumus, kas pārsniedz tos, kurus tas ir apmācīts darīt.

DeepMind izrāviens ir saistīts ar ilgu īstermiņa atmiņas darbu vēsturi. Piecdesmitajos gados amerikāņu kognitīvais psihologs Džordžs Millers veica vienu no slavenākajiem eksperimentiem smadzeņu zinātnes vēsturē. Millers interesējās par cilvēka smadzeņu darba atmiņas ietilpību un nolēma to izmērīt ar daudzu studentu palīdzību, kuriem viņš lūdza veikt vienkāršus atmiņas uzdevumus.

Millera pārsteidzošais secinājums bija tāds, ka īstermiņa atmiņas ietilpību nevar noteikt ar tajā esošās informācijas daudzumu. Tā vietā Millers secināja, ka darba atmiņa glabā informāciju gabalu veidā un ka tajā varētu būt aptuveni septiņi no tiem.

Tas rada ziņkārīgu jautājumu: kas ir gabals? Millera eksperimentos daļa varētu būt viens cipars, piemēram, 4, viens burts, piemēram, q, viens vārds vai neliela vārdu grupa, kam kopā ir kāda noteikta nozīme. Tātad katrs gabals var attēlot jebko, sākot no ļoti neliela informācijas apjoma līdz ļoti sarežģītai idejai, kas ir līdzvērtīga lielam informācijas daudzumam.

Taču, lai cik daudz informācijas attēlotu viens gabals, cilvēka smadzenes savā darba atmiņā var saglabāt tikai aptuveni septiņas no tām.

Šeit ir piemērs. Apsveriet šādu teikumu: Šī grāmata ir aizraujoša lasāmviela ar sarežģītu sižetu un reālistiskiem varoņiem.

Šis teikums sastāv no aptuveni septiņām informācijas daļām un ir skaidri saprotams jebkuram parastam lasītājam.

Turpretim izmēģiniet šo teikumu: Šajā grāmatā par Romas impēriju Augusta Cēzara valdīšanas pirmajos gados Romas Republikas beigās ir aprakstīti notikumi pēc asiņainās Aktijas kaujas 31. gadā pirms mūsu ēras, kad jaunais imperators uzvarēja Marku Antoniju un Kleopatru. vispusīgi pārspējot viņus nozīmīgā jūras spēku darbībā.

Šajā teikumā ir vismaz 20 gabali. Tātad, ja jums bija grūtāk lasīt, tam nevajadzētu būt pārsteigumam. Cilvēka smadzenēm ir grūtības saglabāt tik daudzus gabalus savā darba atmiņā.

Kognitīvajā zinātnē spēju saprast teikuma sastāvdaļas un saglabāt tos darba atmiņā sauc par mainīgo saistīšanu. Šī ir iespēja paņemt datu gabalu un piešķirt to atmiņas slotam un atkārtoti darīt to ar dažāda garuma datiem, piemēram, gabaliem.

90. un 2000. gados datorzinātnieki vairākkārt mēģināja izstrādāt algoritmus, shēmas un neironu tīklus, kas varētu veikt šo triku. Šādam datoram jāspēj parsēt vienkāršu teikumu, kā Marija runāja ar Jāni, sadalot to aktiera, darbības un darbības uztvērēja sastāvdaļās. Tātad šajā gadījumā Marijai tiktu piešķirta aktiera loma, runātajiem vārdiem darbības loma un Jānim darbības uztvērēja loma.

Tieši šis uzdevums tiek risināts DeepMind darbā, neskatoties uz iepriekšējo iekārtu ļoti ierobežoto veiktspēju. Mūsu arhitektūra balstās un pastiprina šo darbu, saka Alekss Greivss, Gregs Veins un Ivo Danihelka uzņēmumā DeepMind, kas atrodas Londonā.

Tie sākas, no jauna definējot neironu tīkla raksturu. Līdz šim neironu tīkli ir bijuši savstarpēji savienotu neironu modeļi, kas spēj mainīt starpsavienojumu stiprumu, reaģējot uz kādu ārēju ievadi. Šī ir mācīšanās forma, kas ļauj viņiem pamanīt līdzības starp dažādiem ievades datiem.

Bet skaitļošanas pamatprocesā ir svarīgs papildu elements. Šī ir ārējā atmiņa, kurā var ierakstīt un nolasīt aprēķinu laikā. Tjūringa slavenajā datora aprakstā atmiņa ir čemodāns, kas iet uz priekšu un atpakaļ caur datoru un kurā tiek saglabāti dažāda veida simboli vēlākai apstrādei.

Šāda veida lasāma un rakstāma atmiņa parastajos neironu tīklā nav pieejama. Tāpēc Greivss un citi ir vienkārši pievienojuši vienu. Tas ļauj neironu tīklam saglabāt mainīgos savā atmiņā un atgriezties pie tiem vēlāk, lai tos izmantotu aprēķinos.

Tas ir līdzīgi tam, kā parasts dators var ievietot skaitļus 3 un 4 reģistros un vēlāk pievienot tos, lai izveidotu 7. Atšķirība ir tāda, ka neironu tīkls var saglabāt sarežģītākus mainīgo modeļus, kas attēlo, piemēram, vārdu Mary. .

Tā kā šī skaitļošanas forma būtiski atšķiras no parastā neironu tīkla, Greivss un citi tam piešķir jaunu nosaukumu — viņi to sauc par neironu Tjūringa mašīnu, kas ir pirmā šāda veida iekārta. Neironālā Tjūringa mašīna mācās tāpat kā parasts neironu tīkls, izmantojot ieejas datus, ko tā saņem no ārējās pasaules, taču tā arī iemācās saglabāt šo informāciju un kad to izgūt.

DeepMind darbs ietver vispirms ierīces konstruēšanu un pēc tam tās izpildīšanu. Viņu eksperimenti sastāv no vairākiem testiem, lai noskaidrotu, vai, apmācot neironu Tjūringa mašīnu veikt noteiktu uzdevumu, tā varētu paplašināt šo spēju uz lielākiem vai sarežģītākiem uzdevumiem. Piemēram, mēs vēlējāmies uzzināt, vai tīkls, kas ir apmācīts kopēt secības, kuru garums nepārsniedz 20, var kopēt 100 garu secību bez turpmākas apmācības, saka Graves un citi.

Izrādās, ka neironu Tjūringa mašīna vairāk vai mazāk lieliski iemācās kopēt secības, kuru garums ir līdz 20. Un pēc tam kopē 30. un 50. garuma secības ar ļoti mazām kļūdām. Secībai, kuras garums ir 120, sāk parādīties kļūdas, tostarp viena kļūda, kurā tiek dublēts viens vienums, tādējādi visus turpmākos vienumus atspiežot vienu soli atpakaļ. Neskatoties uz to, ka tas ir subjektīvi tuvu pareizai kopijai, tas rada lielus zaudējumus, saka komanda.

Lai gan iesaistītās secības ir nejaušas, nav grūti iedomāties, kā tās varētu atspoguļot sarežģītākas idejas, piemēram, Marija vai runāja ar Jāni. Svarīgi ir tas, ka informācijas apjoms, ko šīs sekvences satur, ir mainīgs, piemēram, gabalos.

Viņi salīdzina savas neironu Tjūringa mašīnas veiktspēju ar parasto neironu tīklu. Atšķirība ir būtiska. Parastais neironu tīkls gandrīz perfekti iemācās kopēt secības, kuru garums ir līdz 20. Bet, runājot par sekvencēm, kas ir garākas par apmācību datiem, kļūdas nekavējoties kļūst nozīmīgas. Un tā garākās 120 gadu sērijas kopija ir gandrīz neatpazīstama salīdzinājumā ar oriģinālu.

DeepMind komanda turpina testēt neironu Tjūringa mašīnu citos uzdevumos. Piemēram, viens no tiem ir līdzvērtīgs fotokopēšanai: uzdevums ir kopēt secību un pēc tam atkārtot šo secību noteiktu skaitu reižu un pabeigt ar iepriekš noteiktu marķieri. Atkal neironu Tjūringa mašīna ievērojami pārspēj parasto neironu tīklu.

Tas ir iespaidīgs darbs. Mūsu eksperimenti parāda, ka [mūsu neironu Tjūringa mašīna] spēj iemācīties vienkāršus algoritmus no piemēru datiem un izmantot šos algoritmus, lai vispārinātu arī ārpus sava apmācības režīma, saka Greivss un citi.

Tas ir svarīgs solis uz priekšu, kas var padarīt skaitļošanas mašīnas daudz līdzīgākas nekā jebkad agrāk. Taču priekšā ir nozīmīgs darbs.

Jo īpaši cilvēka smadzenes veic gudru triku, lai izprastu sarežģītus argumentus. Interesants jautājums, kas izriet no Millera agrīnā darba, ir šāds: ja mūsu darba atmiņa spēj apstrādāt tikai septiņus gabalus, kā mēs saprotam sarežģītus argumentus, piemēram, grāmatās, kas sastāv no tūkstošiem vai desmitiem tūkstošu gabalu?

Millera atbilde ir tāda, ka smadzenes izmanto triku, kas pazīstams kā pārkodēšana. Atgriezīsimies pie mūsu grāmatas piemēra un pievienosim vēl vienu teikumu: Šī grāmata ir aizraujoša lasāmviela ar sarežģītu sižetu un reālistiskiem varoņiem. Tas nepārprotami ir vāka cenas vērts.

Kad esat izlasījis un sapratis pirmo teikumu, jūsu smadzenes saglabā šos septiņus gabalus tādā veidā, kas ir pieejams kā viens gabals nākamajā teikumā. Šajā otrajā teikumā vietniekvārds tas ir šis vienīgais gabals. Mūsu smadzenes automātiski zina, ka tas nozīmē: grāmata, kas ir aizraujoša lasāmviela ar sarežģītu sižetu un reālistiskiem varoņiem. Tas ir pārkodējis septiņus agrākos gabalus vienā gabalā.

Milleram smadzeņu spēja pārkodēt šādā veidā bija viena no mākslīgā intelekta atslēgām. Viņš uzskatīja, ka, kamēr dators nevarēs reproducēt šo spēju, tas nekad nevarēs līdzināties cilvēka smadzeņu veiktspējai.

Google DeepMind ir paziņojis, ka tā mērķis ir izlūkošanas risināšana. Ja šis risinājums ir kaut kas līdzīgs cilvēka intelektam, labs tests būtu noskaidrot, vai neironu Tjūringa mašīnas spēj izpildīt Millera pārkodēšanas triku.

Atsauce: arxiv.org/abs/1410.5401 : Neirālās Tjūringa mašīnas

paslēpties