Vai AI jāšana ir viena trika ponijs?

Gandrīz katrs AI sasniegums, par kuru esat dzirdējis, ir atkarīgs no trīs gadu desmitiem veca sasnieguma. Lai saglabātu progresa tempu, būs jāsastopas ar nopietniem AI ierobežojumiem. Autors

• Džeimss Somers arhīva lapa

2017. gada 29. septembris

Ādama apvedceļš

Es stāvu vietā, kas drīzumā būs pasaules centrs vai, iespējams, ir tikai ļoti liela telpa mirdzošā torņa septītajā stāvā Toronto centrā. Man apkārt ir Džordans Džeikobss, kurš līdzdibināja šo vietu: topošo Vector Institute, kas durvis vērs šoruden un kura mērķis ir kļūt par mākslīgā intelekta pasaules epicentru.

Mēs atrodamies Toronto, jo Džofrijs Hintons atrodas Toronto, un Džefrijs Hintons ir dziļas mācīšanās, tehnikas, kuras pamatā ir pašreizējā sajūsma par AI, tēvs. Pēc 30 gadiem mēs atskatīsimies atpakaļ un teiksim, ka Džefs ir Einšteins — mākslīgais intelekts, dziļa mācīšanās, lieta, ko mēs saucam par AI, saka Džeikobs. No pētniekiem dziļās mācīšanās jomā Hintonam ir vairāk citātu nekā nākamajiem trim kopā. Viņa studenti un postdocs ir turpinājuši vadīt AI laboratorijas Apple, Facebook un OpenAI; Pats Hintons ir Google Brain AI komandas vadošais zinātnieks. Faktiski gandrīz katrs AI pēdējās desmitgades sasniegums — tulkošanas, runas atpazīšanas, attēlu atpazīšanas un spēļu spēlēšanas jomā — kaut kādā veidā ir saistīts ar Hintona darbu.

Šis stāsts bija daļa no mūsu 2017. gada novembra numura

• Skatiet pārējo izdevuma daļu
• Abonēt

Vector Institute, šis piemineklis Hintona ideju pieaugumam, ir pētniecības centrs, kurā uzņēmumi no visas ASV un Kanādas, piemēram, Google, Uber un Nvidia, sponsorēs centienus komercializēt AI tehnoloģijas. Nauda ir ieplūdusi ātrāk, nekā Džeikobs to varēja lūgt; divi no viņa līdzdibinātājiem aptaujāja uzņēmumus Toronto apgabalā, un pieprasījums pēc AI ekspertiem galu galā bija 10 reizes lielāks nekā Kanāda katru gadu. Vektors savā ziņā ir nulles punkts tagadējam pasaules mēroga mēģinājumam mobilizēt dziļu mācīšanos: gūt peļņu no tehnikas, mācīt to, pilnveidot un pielietot to. Tiek būvēti datu centri, torņi tiek piepildīti ar jaunuzņēmumiem, vesela studentu paaudze dodas laukā.

Iespaids, kāds jums rodas, stāvot uz Vector grīdas, kails un atbalss un drīz piepildīsies, ir tāds, ka jūs atrodaties kaut kā sākumā. Bet padziļinātās mācīšanās īpatnība ir tikai tas, cik vecas ir tās galvenās idejas. Hintona darbs ar kolēģiem Deividu Rumelhartu un Ronaldu Viljamsu tika publicēts 1986. gadā. Rakstā tika izstrādāta tehnika, ko sauc par backpropagation jeb saīsināti backprop. Pēc Prinstonas skaitļošanas psihologa Džona Koena vārdiem, Bekprops ir tas, uz ko balstās visa dziļā mācīšanās — burtiski viss.

Apkopojot to, AI mūsdienās ir dziļa mācīšanās, un dziļa mācīšanās ir backprop — tas ir pārsteidzoši, ņemot vērā, ka backprop ir vairāk nekā 30 gadus vecs. Ir vērts saprast, kā tas notika — kā tehnika varēja tik ilgi gaidīt un pēc tam izraisīt tādu sprādzienu — jo, tiklīdz jūs sapratīsit stāstu par backprop, jūs sāksit saprast pašreizējo AI mirkli un jo īpaši faktu. ka varbūt mēs patiesībā neesam revolūcijas sākumā. Varbūt mēs esam vienas beigās.

Vindikācija

Pastaiga no Vector institūta līdz Hintona birojam Google, kur viņš pavada lielāko daļu sava laika (tagad viņš ir Toronto universitātes emeritētais profesors), ir sava veida dzīva reklāma pilsētai, vismaz vasarā. Jūs varat saprast, kāpēc Hintons, kurš sākotnēji ir no Apvienotās Karalistes, pārcēlās uz šejieni astoņdesmitajos gados pēc darba Kārnegija Melona universitātē Pitsburgā.

Izejot ārā, pat pilsētas centrā netālu no finanšu rajona, jūtaties tā, it kā būtu devies dabā. Manuprāt, tā ir smarža: slapjš smilšmāls gaisā. Toronto tika uzcelta uz meža aizām, un tā ir pilsēta parkā; tā kā tā ir urbanizēta, pašvaldība ir noteikusi stingrus ierobežojumus koku lapotnes uzturēšanai. Lidojot iekšā, pilsētas ārējās daļas izskatās gandrīz karikatūriski sulīgas.

Varbūt mēs patiesībā neesam revolūcijas sākumā.

Toronto ir ceturtā lielākā pilsēta Ziemeļamerikā (pēc Mehiko, Ņujorkas un Losandželosas) un tās daudzveidīgākā: vairāk nekā puse iedzīvotāju ir dzimuši ārpus Kanādas. To var redzēt, ejot apkārt. Pūlis tehnoloģiju koridorā izskatās mazāk kā Sanfrancisko — jauni, balti puiši kapucēs — un vairāk internacionāli. Ir bezmaksas veselības aprūpe un labas valsts skolas, cilvēki ir draudzīgi, un politiskā kārtība ir samērā kreisi noskaņota un stabila; un šīs lietas piesaista tādus cilvēkus kā Hintons, kurš saka, ka ir pametis ASV Irānas un Kontras afēras dēļ. Tā ir viena no pirmajām lietām, par ko mēs runājam, kad es dodos viņu satikt tieši pirms pusdienām.

Viņš saka, ka lielākā daļa cilvēku CMU uzskatīja, ka ASV ir pilnīgi saprātīgi iebrukt Nikaragvā. Viņi kaut kā domāja, ka viņiem tas pieder. Viņš man stāsta, ka nesen viņam bija liels izrāviens kādā projektā: ieguva ļoti labu jaunāko inženieri, kas strādā ar mani, sievieti vārdā Sāra Sabūra. Sabūra ir irāniete, un viņai tika atteikta vīza darbam ASV. Google Toronto birojs viņu uztvēra.

69 gadus vecajam Hintonam ir laipna, liesa, angliski izskatīga Lielā draudzīgā milža seja ar plānu muti, lielām ausīm un lepnu degunu. Viņš ir dzimis Vimbldonā, Anglijā, un, runājot, izklausās kā bērnu grāmatas par zinātni stāstītājs: zinātkārs, saistošs, vēlas izskaidrot lietas. Viņš ir smieklīgs un mazliet šovmenis. Viņš stāv visu laiku, kamēr runājam, jo, kā izrādās, sēdēšana ir pārāk sāpīga. Es apsēdos 2005. gada jūnijā, un tā bija kļūda, viņš man saka, ļaujot dīvainajai līnijai nolaisties, pirms paskaidroja, ka disks mugurā viņam rada problēmas. Tas nozīmē, ka viņš nevar lidot, un agrāk tajā pašā dienā viņam uz zobārsta kabinetu bija jāatnes aparāts, kas izskatījās pēc vējdēļa, lai viņš varētu uz tā apgulties, izmeklējot ieplaisājušo zoba sakni.

Astoņdesmitajos gados Hintons, tāpat kā tagad, bija neironu tīklu eksperts, kas ir daudz vienkāršots neironu un sinapsu tīkla modelis mūsu smadzenēs. Tomēr tajā laikā bija stingri nolemts, ka neironu tīkli ir strupceļš AI izpētē. Lai gan agrākais neironu tīkls Perceptron, ko sāka izstrādāt 1950. gados, tika slavēts kā pirmais solis ceļā uz cilvēka līmeņa mašīnu inteliģenci, 1969. gadā publicētā MIT darbinieka Mārvina Minska un Seimūra Papīra grāmata ar nosaukumu Perceptrons , matemātiski pierādīja, ka šādi tīkli spēj veikt tikai visvienkāršākās funkcijas. Šiem tīkliem bija tikai divi neironu slāņi, ievades slānis un izvades slānis. Tīkli ar vairāk slāņu starp ieejas un izejas neironiem teorētiski varētu atrisināt ļoti dažādas problēmas, taču neviens nezināja, kā tos apmācīt, un tāpēc praksē tie bija bezjēdzīgi. Izņemot dažus aizturētājus, piemēram, Hintonu, Perceptrons lika lielākajai daļai cilvēku pilnībā atteikties no neironu tīkliem.

Hintona izrāviens 1986. gadā bija parādīt, ka atpakaļpavairošana var apmācīt dziļu neironu tīklu, proti, tādu, kurā ir vairāk nekā divi vai trīs slāņi. Bet pagāja vēl 26 gadi, līdz pieaugošā skaitļošanas jauda ļāva atklājumam gūt labumu. 2012. gada papīrs Hintons un divi viņa Toronto studenti parādīja, ka dziļie neironu tīkli, kas apmācīti, izmantojot atpakaļpavairošanu, pārspēj jaunākās sistēmas attēlu atpazīšanā. Dziļa mācīšanās pacēlās. Ārpasaulei AI šķita, ka pamostas nakti. Hintonam tā bija atmaksa, kas bija ilgi gaidīta.

Realitātes izkropļojumu lauks

Neironu tīklu parasti zīmē kā nūjas sviestmaizi ar slāņiem, kas sakrauti viens virs otra. Slāņos ir mākslīgie neironi, kas ir mazas mēmas skaitļošanas vienības, kas aizraujas — tā, kā aizraujas īsts neirons — un nodod šo uztraukumu citiem neironiem, ar kuriem tie ir saistīti. Neirona uztraukums tiek attēlots ar skaitli, piemēram, 0,13 vai 32,39, kas norāda, cik tas ir satraukts. Un katram savienojumam starp diviem neironiem ir vēl viens būtisks skaitlis, kas nosaka, cik daudz uztraukuma jāpārnes no viena uz otru. Šis skaitlis ir paredzēts, lai modelētu sinapses stiprumu starp smadzeņu neironiem. Ja skaitlis ir lielāks, tas nozīmē, ka savienojums ir spēcīgāks, tāpēc vairāk no viena aizraušanās plūst uz otru.

Diagramma no Hintona, Deivida Rumelhārta un Ronalda Viljamsa pamatdarba par kļūdu izplatīšanu.

Viens no visveiksmīgākajiem dziļo neironu tīklu lietojumiem ir attēlu atpazīšana — kā tas ir neaizmirstamajā HBO ainā. Silikona ieleja kur komanda izveido programmu, kas var noteikt, vai attēlā ir cīsiņš. Šādas programmas patiešām pastāv, un pirms desmit gadiem tās nebūtu bijušas iespējamas. Lai viņi strādātu, pirmais solis ir iegūt attēlu. Pieņemsim, ka vienkāršības labad tas ir mazs melnbalts attēls, kas ir 100 pikseļus plats un 100 pikseļus garš. Jūs padodat šo attēlu savam neironu tīklam, ievades slānī iestatot katra simulētā neirona satraukumu tā, lai tas būtu vienāds ar katra pikseļa spilgtumu. Tas ir kluba sviestmaizes apakšējais slānis: 10 000 neironu (100 x 100), kas atspoguļo katra attēla pikseļa spilgtumu.

Pēc tam jūs savienojat šo lielo neironu slāni ar citu lielu neironu slāni virs tā, teiksim, dažus tūkstošus, un tos savukārt ar citu slāni, kurā ir vēl daži tūkstoši neironu, un tā tālāk dažus slāņus. Visbeidzot, sviestmaizes augšējā slānī, izvades slānī, jums ir tikai divi neironi — viens apzīmē hotdogu, bet otrs — nevis hotdogu. Ideja ir iemācīt neironu tīklam uzbudināt tikai pirmo no šiem neironiem, ja attēlā ir cīsiņš, un tikai otro, ja tāda nav. Atpakaļpropagēšana — paņēmiens, uz kura Hintons ir veidojis savu karjeru — ir metode, kā to izdarīt.

Backprop ir ļoti vienkāršs, lai gan tas vislabāk darbojas ar milzīgu datu apjomu. Tāpēc lielie dati ir tik svarīgi AI — kāpēc Facebook un Google ir tik izsalkuši pēc tiem un kāpēc Vector Institute nolēma izveidot veikalu četrās Kanādas lielākajās slimnīcās un attīstīt datu partnerības ar tām.

Šajā gadījumā dati izpaužas kā miljoniem attēlu, daži ar cīsiņiem un daži bez tiem; triks ir tāds, ka šajās bildēs ir norādīts, kurās ir hotdogi. Kad pirmo reizi izveidojat savu neironu tīklu, savienojumiem starp neironiem var būt nejauši svari — nejauši skaitļi, kas norāda, cik daudz aizraušanās jāiziet pa katru savienojumu. It kā smadzeņu sinapses vēl nebūtu noregulētas. Backprop mērķis ir mainīt šos svarus, lai tie liktu tīklam darboties: tā, lai, nododot hotdoga attēlu zemākajam slānim, augšējā slāņa hotdoga neirons kļūtu satraukts.

Pieņemsim, ka uzņemat savu pirmo treniņu attēlu, un tas ir klavieru attēls. Jūs pārveidojat 100 x 100 attēla pikseļu intensitāti 10 000 skaitļos, pa vienam katram tīkla apakšējā slāņa neironam. Kad uztraukums izplatās pa tīklu atbilstoši savienojuma stiprumam starp blakus esošajiem slāņiem esošajiem neironiem, tas galu galā nonāks pēdējā slānī, tajā, kurā ir divi neironi, kas norāda, vai attēlā ir cīsiņš. Tā kā attēlā ir klavieres, ideālā gadījumā hotdoga neironam vajadzētu būt nullei, bet ne hotdoga neironam – lielam skaitlim. Bet pieņemsim, ka tas tā nedarbojas. Pieņemsim, ka tīkls ir nepareizi par šo attēlu. Backprop ir procedūra katra tīkla savienojuma stipruma maiņai, lai noteiktu kļūdu konkrētajam apmācības piemēram.

Tas darbojas šādi: jūs sākat ar pēdējiem diviem neironiem un noskaidrojat, cik tie bija nepareizi: cik liela ir atšķirība starp to, kādiem bija jābūt satraukuma skaitļiem un kādiem tie patiesībā bija? Kad tas ir izdarīts, apskatiet katru savienojumu, kas ved uz šiem neironiem — tiem, kas atrodas nākamajā apakšējā slānī — un noskaidrojiet to ieguldījumu kļūdas izraisīšanā. Jūs to darāt, līdz esat sasniedzis pirmo savienojumu kopu, kas atrodas pašā tīkla apakšā. Tajā brīdī jūs zināt, cik daudz katrs atsevišķais savienojums ir veicinājis kopējo kļūdu, un pēdējā darbībā jūs maināt katru svaru tādā virzienā, kas vislabāk samazina kļūdu kopumā. Šo paņēmienu sauc par atpakaļejošo pavairošanu, jo jūs izplatāt kļūdas atpakaļ (vai lejup) tīklā, sākot no izvades.

Neticami ir tas, ka, to darot ar miljoniem vai miljardiem attēlu, tīkls sāk diezgan labi pateikt, vai attēlā ir cīsiņš. Un vēl ievērojamāk ir tas, ka šo attēlu atpazīšanas tīklu atsevišķie slāņi sāk redzēt attēlus tādā pašā veidā, kā to dara mūsu vizuālā sistēma. Tas nozīmē, ka pirmais slānis var atklāt malas tādā nozīmē, ka tā neironi aizraujas, kad ir malas, un neaizraujas, ja to nav; slānis virs kura varētu noteikt malu kopas, piemēram, stūrus; slānis virs tā var sākt redzēt formas; un slānis virs tā var sākt atrast tādas lietas kā atvērta bulciņa vai slēgta bulciņa tādā nozīmē, ka ir neironi, kas reaģē uz jebkuru gadījumu. Tīkls organizējas, citiem vārdiem sakot, hierarhiskos slāņos, nekad nav tieši tā ieprogrammēts.

Īsts saprāts nesadalās, ja jūs nedaudz maināt problēmu.

Šī ir lieta, kas sajūsmina visus. Tas nav tikai tas, ka neironu tīkli labi klasificē hotdogu vai citu attēlu attēlus: šķiet, ka tie spēj veidot ideju reprezentācijas. Ar tekstu jūs to varat redzēt vēl skaidrāk. Jūs varat ievadīt Wikipedia tekstu, kas ir daudz miljardu vārdu garš, vienkāršā neironu tīklā, apmācot to izspļaut katram vārdam lielu skaitļu sarakstu, kas atbilst katra slāņa neirona satraukumam. Ja jūs domājat par katru no šiem skaitļiem kā par koordinātu sarežģītā telpā, tad būtībā tas, ko jūs darāt, ir atrast punktu, kas šajā kontekstā pazīstams kā vektors, katram vārdam kaut kur šajā telpā. Tagad apmāciet savu tīklu tā, lai vārdi, kas Vikipēdijas lapās parādās viens otram blakus, nonāktu ar līdzīgām koordinātēm, un var, notiek kaut kas traks: vārdi ar līdzīgu nozīmi sāk parādīties viens otram blakus telpā. Tas ir, ārprātīgajiem un nesakārtotajiem koordinātes būs tuvu viena otrai, tāpat kā trīs un septiņas utt. Turklāt tā sauktā vektora aritmētika ļauj, teiksim, atņemt Francijas vektoru no Parīzes vektora, pievienot Itālijas vektoru un nonākt Romas apkaimē. Tas darbojas, nevienam nepārprotami paziņojot tīklam, ka Roma ir Itālijai tāpat kā Parīze Francijai.

Tas ir pārsteidzoši, saka Hintons. Tas ir šokējoši. Neironu tīklus var uzskatīt par tādiem, kas mēģina paņemt lietas — attēlus, vārdus, kāda runāšanas ierakstus, medicīniskos datus — un ievietot tos matemātiķu augstdimensiju vektoru telpā, kur lietu tuvums vai attālums atspoguļo kādu svarīgu iezīmi. no reālās pasaules. Hintons uzskata, ka to dara pašas smadzenes. Ja jūs vēlaties zināt, kas ir doma, viņš saka, es varu jums to izteikt vārdu virknē. Es varu teikt: 'Džons domāja, oi.' Bet, ja jūs jautājat: 'Kas ir doma?' Ko Džonam nozīmē tāda doma?’ Nav tā, ka viņa galvā ir sākuma citāts, “Hū,” un beigu citāts vai pat tā iztīrīta versija. Viņa galvā ir kāds liels nervu darbības modelis. Ja esat matemātiķis, lielus neironu aktivitātes modeļus var tvert vektoru telpā, katra neirona aktivitātei atbilstot skaitlim, bet katram skaitlim - patiešām liela vektora koordinātei. Hintona skatījumā doma ir tāda: vektoru deja.

Džefrijs Hintons ar Google pieklājību

Nav nejaušība, ka Toronto vadošā AI iestāde tika nosaukta šī fakta dēļ. Hintons bija tas, kurš nāca klajā ar nosaukumu Vector Institute.

Hintons rada sava veida realitātes izkropļojumu lauku, noteiktības un entuziasma gaisu, kas rada sajūtu, ka nav nekā tāda, ko nevarētu izdarīt vektori. Galu galā, paskatieties uz to, ko viņi jau ir spējuši ražot: automašīnas, kas paši brauc, datorus, kas atklāj vēzi, mašīnas, kas uzreiz pārtulko runāto valodu. Un paskatieties uz šo burvīgo britu zinātnieku, kurš runā par gradientu nolaišanos augstas dimensijas telpās!

Tikai izejot no telpas jūs atceraties: šīs dziļās mācīšanās sistēmas joprojām ir diezgan stulbas, neskatoties uz to, cik gudras tās dažreiz šķiet. Dators, kas redz attēlu ar virtuļu kaudzi, kas sakrauts uz galda, un automātiski paraksta to kā virtuļu kaudzi, kas sakrauta uz galda, šķiet, saprot pasauli; bet, kad tajā pašā programmā redzams attēls ar meiteni, kas tīra zobus, un saka, ka zēns tur rokās beisbola nūju, jūs saprotat, cik vāja patiesībā ir šī izpratne, ja tā vispār ir bijusi.

Neironu tīkli ir tikai nepārdomāti izplūdušu modeļu atpazinēji, un cik vien noderīgi var būt izplūdušu modeļu atpazinēji — tāpēc ir steiga tos integrēt gandrīz jebkura veida programmatūrā — tie labākajā gadījumā pārstāv ierobežotu intelekta zīmolu, kuru ir viegli apmānīt. . Dziļš neironu tīkls, kas atpazīst attēlus, var tikt pilnībā apgrūtināts, mainot vienu pikseļu vai pievienojot vizuālu troksni, kas cilvēkam ir nemanāms. Patiešām, gandrīz tikpat bieži, kā mēs atrodam jaunus veidus, kā pielietot padziļinātu mācīšanos, mēs atrodam vairāk tās ierobežojumu. Automašīnas, kas brauc ar pašpiedziņu, var neizdoties orientēties apstākļos, kādus tās nekad nav redzējušas. Mašīnām ir grūtības analizēt teikumus, kas prasa veselā saprāta izpratni par to, kā pasaule darbojas.

Dziļā mācīšanās dažos veidos atdarina to, kas notiek cilvēka smadzenēs, bet tikai seklā veidā, kas, iespējams, izskaidro, kāpēc tās inteliģence dažkārt var šķist tik sekla. Patiešām, backprop netika atklāts, zondējot dziļi smadzenēs, dekodējot pašu domu; tas izauga no modeļiem, kā dzīvnieki mācās, izmantojot izmēģinājumus un kļūdas vecos klasiskos kondicionēšanas eksperimentos. Un lielākā daļa lielo lēcienu, kas radās tās attīstības gaitā, neietvēra jaunu ieskatu par neirozinātni; tie bija tehniski uzlabojumi, kas sasniegti matemātikas un inženierzinātņu gados. Tas, ko mēs zinām par inteliģenci, nav nekas pretrunā ar to, ko mēs joprojām nezinām.

Deivids Duvenauds (David Duvenaud), docents tajā pašā katedrā, kurā atrodas Hintons no Toronto universitātes, saka, ka dziļā mācīšanās ir bijusi zināmā mērā līdzīga inženierzinātnei pirms fizikas. Kāds uzraksta papīru un saka: “Es uztaisīju šo tiltu, un tas piecēlās!” Kādam citam puisim ir papīrs: “Es uztaisīju šo tiltu, un tas nokrita, bet tad pievienoju stabus, un tad tas palika augšā.” Pēc tam pīlāri ir. karsta jauna lieta. Kāds izdomā arkas, un tas ir kā: 'Arkas ir lieliskas!' Viņš saka, ka ar fiziku jūs faktiski var saprast, kas strādās un kāpēc. Viņš saka, ka tikai nesen mēs esam sākuši pāriet uz šo faktiskās izpratnes fāzi ar mākslīgo intelektu.

Pats Hintons saka: “Lielākā daļa konferenču sastāv no nelielu izmaiņu veikšanas… nevis cītīgi domājot un sakot: “Kas ir tas, ko mēs šobrīd darām, kas patiešām ir nepietiekams? Ar ko tam ir grūtības? Koncentrēsimies uz to.'

Var būt grūti to novērtēt no malas, kad viss, ko redzat, ir viens liels progress, kas tiek reklamēts pēc otra. Taču jaunākais AI progresa virziens ir bijis mazāk zinātne nekā inženierija, pat viltošana. Un, lai gan esam sākuši labāk izprast, kāda veida izmaiņas uzlabos padziļinātās apmācības sistēmas, mēs joprojām lielākoties esam tumsā par to, kā šīs sistēmas darbojas un vai tās kādreiz varētu dot kaut ko tik spēcīgu kā cilvēka prāts.

Ir vērts jautāt, vai esam izspieduši gandrīz visu, ko varam no backprop. Ja tā, tas varētu nozīmēt mākslīgā intelekta progresa plato.

Pacietība

Ja vēlaties redzēt nākamo lielo lietu, kaut ko, kas varētu būt par pamatu mašīnām ar daudz elastīgāku intelektu, jums, iespējams, vajadzētu pārbaudīt pētījumus, kas līdzinās tam, ko jūs būtu atraduši, ja 80. gados būtu sastapušies ar backprop: gudri cilvēki. aizraujoties ar idejām, kas vēl īsti nedarbojas.

Pirms dažiem mēnešiem es devos uz Prātu, smadzeņu un mašīnu centru, kas ir daudzu institūciju centrs, kura galvenā mītne atrodas MIT, lai noskatītos, kā mans draugs Eials Dehters aizstāv savu disertāciju kognitīvajā zinātnē. Tieši pirms sarunas sākuma viņa sieva Eimija, viņu suns Rūbija un meita Sūzanna griezās apkārt, vēlēdami viņam labu. Uz ekrāna bija attēls, kurā redzama Rūbija, un blakus tai bija Susanna kā mazulis. Kad tētis lūdza Sūzannu parādīt sevi, viņa laimīga uzsita garu, izvelkamu rādītāju pret savu mazuļa attēlu. Ejot ārā no istabas, viņa aiz mammas brauca ar rotaļlietu ratiņiem un kliedza, lai veicas, tēt! pār viņas plecu. Vámanos! viņa beidzot teica. Viņai ir divi.

Tas, ka tas nedarbojas, ir tikai īslaicīgs kairinājums.

Eials sāka savu runu ar valdzinošu jautājumu: kā Sūzanna pēc divu gadu pieredzes var iemācīties runāt, spēlēt, sekot stāstiem? Kas cilvēka smadzenēs liek tām tik labi mācīties? Vai dators kādreiz spēs mācīties tik ātri un tik plūstoši?

Mēs saprotam jaunas parādības, ņemot vērā lietas, kuras jau saprotam. Mēs sadalām domēnu gabalos un apgūstam gabalus. Eials ir matemātiķis un datorprogrammētājs, un viņš domā par uzdevumiem, piemēram, suflē gatavošanu, kā patiešām sarežģītas datorprogrammas. Bet tas nav tā, ka jūs iemācāties pagatavot suflē, apgūstot katru no programmas miljoniem mikroinstrukciju, piemēram, pagrieziet elkoni par 30 grādiem, tad paskatieties uz galda virsmu, tad izstiepiet rādītājpirkstu, tad… Ja jums tas būtu jādara. ka katram jaunam uzdevumam mācīšanās būtu pārāk grūta un jūs paliktu iestrēdzis ar to, ko jau zināt. Tā vietā programma tiek izmantota augsta līmeņa soļos, piemēram, Saputot olu baltumus, kuras pašas sastāv no apakšprogrammām, piemēram, Sadaliet olas un Atdaliet dzeltenumus.

Saistīts stāsts

Saistīts stāsts Neviens īsti nezina, kā vismodernākie algoritmi dara to, ko viņi dara. Tā varētu būt problēma.

Datori to nedara, un tas lielā mērā ir iemesls, kāpēc tie ir stulbi. Lai padziļināti apgūtu cīsiņu atpazīšanas sistēmu, iespējams, būs jābaro tai ar 40 miljoniem hotdogu attēlu. Lai Suzanna atpazītu hotdogu, parādiet viņai hotdogu. Un pēc neilga laika viņa sapratīs valodu, kas ir dziļāka nekā atpazīšana, ka daži vārdi bieži parādās kopā. Atšķirībā no datora, viņas prātā būs modelis par to, kā darbojas visa pasaule. Man šķiet neticami, ka cilvēki baidās no datoriem, kas aizņem darbu, saka Eials. Nav tā, ka datori nevar aizstāt advokātus, jo juristi dara patiešām sarežģītas lietas. Tas ir tāpēc, ka juristi lasa un runā ar cilvēkiem. Nav tā, ka mēs būtu tuvi. Mēs esam tik tālu.

Īsta inteliģence nesalaužas, ja jūs nedaudz maināt problēmas prasības, ko tā mēģina atrisināt. Eiala disertācijas galvenā daļa bija viņa demonstrācija par to, kā jūs varat panākt, lai dators darbotos šādā veidā: plūstoši pielietot to, ko tas jau zina, jauniem uzdevumiem, ātri palaist ceļu no gandrīz neko nezināšanas par jaunu domēnu. būt ekspertam.

Hintons izveidoja šo skici savai nākamajai lielajai idejai, lai organizētu neironu tīklus ar 'kapsulām'.

Būtībā tā ir procedūra, ko viņš sauc par izpētes-saspiešanas algoritmu. Tas nodrošina, ka dators darbojas kā programmētājs, kurš veido atkārtoti lietojamu, modulāru komponentu bibliotēku, lai izveidotu arvien sarežģītākas programmas. Neko nesakot par jaunu domēnu, dators mēģina strukturēt zināšanas par to, vienkārši spēlējoties, apkopojot atrasto un vēl spēlējoties, kā to dara cilvēkbērns.

Viņa padomnieks Džošua Tenenbaums ir viens no visvairāk citētajiem AI pētniekiem. Tenenbauma vārds parādījās pusē no sarunām, kas man bija ar citiem zinātniekiem. Daži no galvenajiem cilvēkiem uzņēmumā DeepMind — AlphaGo komanda, kas šokēja datorzinātniekus, 2016. gadā sarežģītajā spēlē Go pārspējot pasaules čempionu spēlētāju – bija strādājuši par viņa postdoktori. Viņš ir iesaistīts jaunizveidotā uzņēmumā, kas mēģina radīt pašbraucošām automašīnām zināmu intuīciju par fizikas pamatzināšanu un citu vadītāju nodomiem, lai viņi varētu labāk paredzēt, kas notiktu situācijā, ko viņi nekad nav redzējuši, piemēram, kad kravas automašīna izsita nazi automašīnas priekšā. vai kad kāds ļoti agresīvi mēģina sapludināt.

Eiala disertācija vēl nepārvēršas šādos praktiskos pielietojumos, nemaz nerunājot par programmām, kas nonāktu virsrakstos par cilvēka uzlabošanu. Problēmas, pie kurām Eiāls strādā, ir ļoti, ļoti smagas, sacīja Tenenbaums. Tas prasīs daudzas, daudzas paaudzes.

Tenenbaumam ir gari, cirtaini, balinoši mati, un, kad mēs apsēdāmies iedzert kafiju, viņam bija atpogājams krekls ar melnām biksēm. Viņš man teica, ka meklē iedvesmu stāstā par backprop. Gadu desmitiem backprop bija forša matemātika, kas īsti neko nedeva. Tā kā datori kļuva ātrāki un inženierija kļuva sarežģītāka, pēkšņi tas notika. Viņš cer, ka tas pats varētu notikt ar viņa paša un viņa studentu darbu, taču tas var aizņemt vēl pāris gadu desmitus.

Runājot par Hintonu, viņš ir pārliecināts, ka AI ierobežojumu pārvarēšana ir saistīta ar tilta veidošanu starp datorzinātnēm un bioloģiju. Šajā skatījumā Backprop bija bioloģiski iedvesmotas skaitļošanas triumfs; ideja sākotnēji radās nevis no inženierzinātnēm, bet gan no psiholoģijas. Tāpēc tagad Hintons mēģina izdarīt līdzīgu triku.

Neironu tīkli mūsdienās ir veidoti no lieliem plakaniem slāņiem, bet cilvēka neokorteksā īstie neironi ir sakārtoti ne tikai horizontāli slāņos, bet vertikāli kolonnās. Hintons domā, ka zina, kam kolonnas ir paredzētas — piemēram, redzēšanā tās ir ļoti svarīgas mūsu spējai atpazīt objektus pat tad, kad mainās mūsu skatījums. Tāpēc viņš veido mākslīgu versiju — viņš tās sauc par kapsulām —, lai pārbaudītu teoriju. Līdz šim tas nav izvērsis; kapsulas nav būtiski uzlabojušas viņa tīklu veiktspēju. Bet šī bija tāda pati situācija, kādā viņš bija atradies ar backprop gandrīz 30 gadus.

Šai lietai vienkārši ir jābūt pareizai, viņš saka par kapsulas teoriju, smejoties par savu pārdrošību. Un tas, ka tas nedarbojas, ir tikai īslaicīgs kairinājums.

Džeimss Somers ir rakstnieks un programmētājs, kurš dzīvo Ņujorkā. Viņa iepriekšējais raksts par MIT tehnoloģiju apskats bija Toolkits for the Mind 2015. gada maijā/jūnijā, kas parādīja, kā interneta jaunuzņēmumus veido to izmantotās programmēšanas valodas.

paslēpties