Džefrijs Hintons nojauš, kas notiks ar mākslīgo intelektu

Ķīlis Mutšelknauss

Vēl novembrī datorzinātniekam un kognitīvajam psihologam Džefrijam Hintonam bija nojausma. Pēc pusgadsimta ilgiem mēģinājumiem — daži ļoti veiksmīgi — viņš guva vēl vienu daudzsološu ieskatu par to, kā darbojas smadzenes un kā datorā atkārtot to shēmas.

Tā ir mana pašreizējā labākā izvēle par to, kā lietas sader kopā, Hintons saka no sava mājas biroja Toronto, kur viņš tika izolēts pandēmijas laikā. Ja viņa likme atmaksāsies, tā varētu radīt nākamās paaudzes mākslīgos neironu tīklus — matemātiskās skaitļošanas sistēmas, kuras ir brīvi iedvesmotas no smadzeņu neironiem un sinapsēm, kas ir mūsdienu mākslīgā intelekta pamatā. Viņa godīgā motivācija, kā viņš pats saka, ir zinātkāre. Taču praktiskā motivācija — un ideālā gadījumā arī sekas — ir uzticamāka un uzticamāka AI.

Google inženierzinātņu biedrs un Mākslīgā intelekta vektora institūta līdzdibinātājs Hintons uzrakstīja savas nojautas par lēkmēm un sākšanos, un februāra beigās paziņoja caur Twitter ka viņš bija ievietojis a 44 lappušu papīrs par arXiv pirmsdrukas serveris. Viņš sāka ar atrunu: šajā dokumentā nav aprakstīta darba sistēma, viņš rakstīja. Drīzāk tas parāda iedomātu sistēmu. Viņš to nosauca par GLOM. Termins cēlies no aglomerāts un izteiciena glom kopā.

Hintons domā par GLOM kā veidu, kā modelēt cilvēka uztveri mašīnā — tas piedāvā jaunu veidu, kā apstrādāt un attēlot vizuālo informāciju neironu tīklā. Tehniskā līmenī tā būtība ir saistīta ar līdzīgu vektoru apvienošanos. Neironu tīklu pamatā ir vektori — vektors ir skaitļu masīvs, kas kodē informāciju. Vienkāršākais piemērs ir xyz punkta koordinātas — trīs skaitļi, kas norāda, kur punkts atrodas trīsdimensiju telpā. Sešu dimensiju vektors satur vēl trīs informācijas daļas — varbūt sarkani zaļi zilas vērtības punkta krāsai. Neironu tīklā vektori simtos vai tūkstošos dimensijās attēlo veselus attēlus vai vārdus. Un, runājot par vēl augstākām dimensijām, Hintons uzskata, ka tas, kas notiek mūsu smadzenēs, ir saistīts ar lieliem neironu aktivitātes vektoriem.

Pēc analoģijas Hintons salīdzina savu līdzīgu vektoru apvienošanu ar atbalss kameras dinamiku — līdzīgu uzskatu pastiprināšanu. Atbalss kamera ir pilnīga katastrofa politikai un sabiedrībai, bet neironu tīkliem tā ir lieliska lieta, saka Hintons. Jēdzienu par atbalss kamerām, kas kartētas uz neironu tīkliem, viņš sauc par identisku vektoru salām vai sarunvalodā par vienošanās salām — kad vektori vienojas par savas informācijas būtību, tie norāda vienā virzienā.

Ja neironu tīkli vairāk līdzinātos cilvēkiem, vismaz tie var kļūdīties tāpat kā cilvēki, un tāpēc mēs gūsim ieskatu par to, kas tos varētu mulsināt.

Džefrijs Hintons

Garā GLOM sasniedz arī nenotveramo mērķi modelēt intuīciju — Hintons uzskata, ka intuīcija ir būtiska uztverei. Viņš definē intuīciju kā mūsu spēju bez piepūles radīt analoģijas. No bērnības līdz mūsu dzīves gaitai mēs izprotam pasauli, izmantojot analoģisku spriešanu, kartējot līdzības no viena objekta vai idejas vai jēdziena uz citu — vai, kā izteicās Hintons, vienu lielu vektoru citā. Viņš saka, ka lielo vektoru līdzības izskaidro, kā neironu tīkli veic intuitīvu analoģisku spriešanu. Plašāk runājot, intuīcija uztver šo neizsakāmo veidu, kā cilvēka smadzenes rada ieskatu. Pats Hintons strādā ļoti intuitīvi — zinātniski viņu vada intuīcija un analoģiju veidošanas rīks. Un viņa smadzeņu darbības teorija ir saistīta ar intuīciju. Es esmu ļoti konsekvents, viņš saka.

Hintons cer, ka GLOM varētu būt viens no vairākiem sasniegumiem, kas, pēc viņa domām, ir nepieciešami, lai mākslīgais intelekts spētu patiesi veikli atrisināt problēmas — tāda veida cilvēka domāšana, kas ļautu sistēmai izprast lietas, kas nekad agrāk nav sastaptas; smelties līdzības no pagātnes pieredzes, spēlēties ar idejām, vispārināt, ekstrapolēt, saprast. Viņš saka, ka, ja neironu tīkli vairāk līdzinātos cilvēkiem, vismaz tie var noiet greizi tāpat kā cilvēki, un tāpēc mēs gūsim ieskatu par to, kas tos varētu mulsināt.

Tomēr pagaidām pati GLOM ir tikai intuīcija — tā ir tvaiku programmatūra, saka Hintons. Un viņš atzīst, ka kā akronīms lieliski atbilst Džefa pēdējam oriģinālajam modelim. Tas ir vismaz viņa jaunākais.

Ārpus kastes

Hintona pieķeršanās mākslīgajiem neironu tīkliem (20. gadsimta vidus izgudrojums) aizsākās 1970. gadu sākumā. Līdz 1986. gadam viņš bija panācis ievērojamu progresu: lai gan sākotnēji tīkli ietvēra tikai dažus neironu slāņus, ievadi un izvadi, Hintons un līdzstrādnieki nāca klajā ar paņēmienu dziļāka, daudzslāņu tīkla izveidei. Taču pagāja 26 gadi, līdz skaitļošanas jauda un datu ietilpība panāca un izmantoja dziļo arhitektūru.

2012. gadā Hintone ieguva slavu un bagātību, pateicoties dziļam izrāvienam mācībās. Ar diviem studentiem viņš ieviesa daudzslāņu neironu tīklu, kas tika apmācīts atpazīt objektus masveida attēlu datu kopās. Neironu tīkls iemācījās iteratīvi uzlabot dažādu objektu klasifikāciju un identificēšanu, piemēram, ērci, sēnes, motorolleru, Madagaskaras kaķi. Un tas uzstājās ar negaidīti iespaidīgu precizitāti.

Saistīts stāsts

Vai AI jāšana ir viena trika ponijs? Gandrīz katrs AI sasniegums, par kuru esat dzirdējis, ir atkarīgs no trīs gadu desmitiem veca sasnieguma. Lai saglabātu progresa tempu, būs jāsastopas ar nopietniem AI ierobežojumiem.

Padziļināta mācīšanās uzsāka jaunāko AI revolūciju, pārveidojot datora redzējumu un jomu kopumā. Hintons uzskata padziļinātai apmācībai vajadzētu būt gandrīz visam, kas nepieciešams pilnībā atkārtot cilvēka intelektu.

Taču, neskatoties uz straujo progresu, joprojām pastāv lielas problēmas. Neironu tīklu pakļauj nepazīstamai datu kopai vai svešai videi, un tas atklājas kā trausls un neelastīgs. Pašbraucošas automašīnas un eseju rakstīšanas valodas ģeneratori atstāj iespaidu, taču lietas var noiet greizi. AI vizuālās sistēmas var viegli sajaukt: no sāniem atpazīta kafijas krūze būtu nezināma no augšas, ja sistēma nebūtu apmācīta par šo skatu; un, manipulējot ar dažiem pikseļiem, pandu var sajaukt ar strausu vai pat skolas autobusu.

GLOM pievēršas divām no vissarežģītākajām vizuālās uztveres sistēmu problēmām: veselas ainas izpratne objektu un to dabisko daļu izteiksmē; un objektu atpazīšana, skatoties no jauna skatu punkta. (GLOM uzmanības centrā ir redze, taču Hintons sagaida, ka šo ideju varētu attiecināt arī uz valodu.)

Piemēram, tādu objektu kā Hintona seja veido viņa dzīvās, ja suņa nogurušas acis (pārāk daudz cilvēku uzdod jautājumus; pārāk maz miega), viņa mute un ausis, kā arī izcils deguns, ko papildina ne pārāk -nekārtīgs, pārsvarā pelēks buksnis. Un, ņemot vērā viņa degunu, profila skatījumā viņš ir viegli atpazīstams pat no pirmā acu uzmetiena.

Abi šie faktori — veselas daļējas attiecības un skatījums — no Hintona viedokļa ir būtiski svarīgi, kā cilvēki redz redzi. Ja GLOM kādreiz darbosies, viņš saka, tas radīs uztveri tādā veidā, kas ir daudz līdzīgāks cilvēkam nekā pašreizējie neironu tīkli.

Tomēr daļu grupēšana veselumos var būt sarežģīta problēma datoriem, jo ​​daļas dažreiz ir neskaidras. Aplis var būt acs, virtulis vai ritenis. Kā skaidro Hintons, pirmās paaudzes AI redzes sistēmas mēģināja atpazīt objektus, galvenokārt paļaujoties uz daļas un veseluma attiecību ģeometriju - telpisko orientāciju starp daļām un starp daļām un veselumu. Tā vietā otrā paaudze galvenokārt paļāvās uz dziļu mācīšanos, ļaujot neironu tīklam izmantot lielu datu apjomu. Ar GLOM Hinton apvieno abu pieeju labākos aspektus.

Man patīk zināma intelektuāla pazemība, saka Gerijs Markuss, Robust.AI dibinātājs un izpilddirektors un labi pazīstams kritiķis par lielo paļaušanos uz dziļu mācīšanos. Markuss apbrīno Hintona vēlmi izaicināt kaut ko, kas viņam atnesa slavu, un atzīt, ka tas īsti nedarbojas. Tas ir drosmīgi, viņš saka. Un tas ir lielisks labojums, sakot: 'Es cenšos domāt ārpus rāmjiem.'

GLOM arhitektūra

In GLOM izstrāde , Hintons mēģināja modelēt dažus garīgos īsceļus — intuitīvās stratēģijas vai heiristiku —, ko cilvēki izmanto, lai izprastu pasauli. GLOM un patiesi liela daļa Džefa darbu ir saistīta ar heiristikas aplūkošanu, kāda šķiet cilvēkiem, neironu tīklu veidošanu, kuriem pašiem varētu būt šāda heiristika, un pēc tam parādīt, ka tīkliem ir labāka redze, saka dators Niks Frosts. zinātnieks valodas jaunuzņēmumā Toronto, kurš strādāja kopā ar Hintonu Google Brain.

Izmantojot vizuālo uztveri, viena stratēģija ir parsēt objekta daļas, piemēram, dažādus sejas vaibstus, un tādējādi izprast visu. Ja redzat noteiktu degunu, jūs to varētu atpazīt kā daļu no Hintona sejas; tā ir daļēji vesela hierarhija. Lai izveidotu labāku redzes sistēmu, Hinton saka, ka man ir spēcīga intuīcija, ka mums ir jāizmanto daļēji veselas hierarhijas. Cilvēka smadzenes saprot šo kompozīciju, ko sauc par parsēšanas koku — sazarojumu diagrammu, kas parāda hierarhiskās attiecības starp veselumu, tā daļām un apakšdaļām. Pati seja atrodas koka augšpusē, un acis, deguns, ausis un mute veido apakšējos zarus.

Viens no Hintona galvenajiem mērķiem ar GLOM ir replicēt parsēšanas koku neironu tīklā — tas to atšķirtu no iepriekšējiem neironu tīkliem. Tehnisku iemeslu dēļ to ir grūti izdarīt. Tas ir grūti, jo cilvēks katru atsevišķo attēlu parsētu unikālā parsēšanas kokā, tāpēc mēs vēlamies, lai neironu tīkls darītu to pašu, saka Frosts. Ir grūti iegūt kaut ko ar statisku arhitektūru — neironu tīklu —, lai iegūtu jaunu struktūru — parsēšanas koku — katram jaunajam attēlam, ko tas redz. Hintons ir veicis dažādus mēģinājumus. GLOM ir viņa iepriekšējā mēģinājuma 2017. gadā būtiska pārskatīšana, kas apvienota ar citiem saistītiem sasniegumiem šajā jomā.

Es esmu daļa no deguna!

GLOM vektors

MS TECH | EVIATAR BACH, izmantojot Wikimedia

Vispārināts domāšanas veids par GLOM arhitektūru ir šāds: interesējošais attēls (teiksim, Hintona sejas fotogrāfija) ir sadalīts režģī. Katrs režģa apgabals ir attēla vieta — vienā vietā var būt acs varavīksnene, bet citā — deguna gals. Katrai tīkla vietai ir aptuveni pieci slāņi jeb līmeņi. Un pakāpeniski sistēma veic prognozes, izmantojot vektoru, kas attēlo saturu vai informāciju. Līmenī netālu no apakšas vektors, kas attēlo deguna gala atrašanās vietu, var paredzēt: es esmu deguna daļa! Un nākamajā līmenī, veidojot saskanīgāku redzamā attēlojumu, vektors varētu paredzēt: es esmu daļa no sejas sānu leņķa skatā!

Bet tad jautājums ir, vai blakus esošie vektori vienā līmenī sakrīt? Vienojoties, vektori norāda vienā virzienā, uz vienu un to pašu secinājumu: Jā, mēs abi piederam pie viena deguna. Vai tālāk parsēšanas kokā. Jā, mēs abi piederam vienai sejai.

Meklējot vienprātību par objekta būtību — par to, kas īsti ir objekts, galu galā — GLOM vektori iteratīvi, pēc atrašanās vietas un slānis pēc slāņa, vidējie ar blakus esošiem vektoriem, kā arī prognozētie vektori no līmeņiem augstāk un zemāk. .

Tomēr tīkls negribot ir vidējs, ja tuvumā ir kaut kas, saka Hintons. Tas selektīvi nosaka vidējos rādītājus ar blakus prognozēm, kas parāda līdzības. Tas ir labi zināms Amerikā, to sauc par atbalss kameru, viņš saka. Ko jūs darāt, jūs pieņemat tikai tādu cilvēku viedokļus, kuri jums jau piekrīt; un tad notiek tas, ka jūs iegūstat atbalss kameru, kurā veselam baram cilvēku ir tieši tāds pats viedoklis. GLOM to faktiski izmanto konstruktīvā veidā. Līdzīga parādība Hintona sistēmā ir šīs vienošanās salas.

Džefs ir ļoti neparasts domātājs...

Sjū Bekere

Iedomājieties cilvēku baru telpā, kas kliedz nelielas vienas un tās pašas idejas variācijas, saka Frosts, vai arī iedomājieties, ka šie cilvēki ir vektori, kas norāda uz nelielām viena un tā paša virziena variācijām. Pēc kāda laika viņi piekritīs vienai idejai, un viņi visi to izjustu spēcīgāk, jo to apstiprināja citi apkārtējie cilvēki. Tādā veidā GLOM vektori pastiprina un pastiprina viņu kolektīvās prognozes par attēlu.

GLOM izmanto šīs saskaņoto vektoru salas, lai veiktu parsēšanas koka attēlošanu neironu tīklā. Tā kā daži nesenie neironu tīkli izmanto vektoru vienošanos aktivizēšana , GLOM izmanto līgumu priekš pārstāvība — lietu attēlojumu veidošana tīklā. Piemēram, ja vairāki vektori piekrīt, ka tie visi ir daļa no deguna, to mazais vienošanos kopums kopā attēlo degunu tīkla sejas parsēšanas kokā. Cits mazs sakrītošu vektoru kopums varētu attēlot muti parsēšanas kokā; un lielais kopums koka augšdaļā atspoguļotu pamanāmo secinājumu, ka attēls kopumā ir Hintona seja. Parsēšanas koks šeit ir attēlots, skaidro Hintons, ka objekta līmenī jums ir liela sala; objekta daļas ir mazākas salas; apakšdaļas ir vēl mazākas salas utt.

2. attēls no Hintona GLOM papīra. Identisku vektoru salas (vienādas krāsas bultiņas) dažādos līmeņos attēlo parsēšanas koku.

DŽEFRIJS HINTONS

Pēc Hintona ilggadējā drauga un līdzstrādnieka, Monreālas universitātes datorzinātnieka Jošua Bengio teiktā, ja GLOM izdosies atrisināt inženiertehnisko izaicinājumu attēlot parsēšanas koku neironu tīklā, tas būtu varoņdarbs — tas būtu svarīgi lai neironu tīkli darbotos pareizi. Džefs savas karjeras laikā vairākas reizes ir radījis pārsteidzoši spēcīgas intuīcijas, no kurām daudzas ir pierādījušas savu taisnību, saka Bengio. Tāpēc es pievēršu viņiem uzmanību, it īpaši, ja viņš pret viņiem jūtas tikpat spēcīgi kā pret GLOM.

Hintona pārliecības spēks sakņojas ne tikai atbalss kameras analoģijā, bet arī matemātiskās un bioloģiskās analoģijās, kas iedvesmoja un attaisnoja dažus dizaina lēmumus GLOM jaunajā inženierijā.

Džefs ir ļoti neparasts domātājs, jo viņš spēj balstīties uz sarežģītām matemātiskām koncepcijām un integrēt tās ar bioloģiskiem ierobežojumiem, lai izstrādātu teorijas, saka Sjū Bekere, bijusī Hintona studente, tagad Makmāsteras universitātes skaitļošanas kognitīvā neirozinātniece. Pētniekiem, kuri ir šaurāk koncentrējušies uz matemātisko teoriju vai neirobioloģiju, ir daudz mazāka iespēja atrisināt bezgalīgi pārliecinošo mīklu par to, kā gan mašīnas, gan cilvēki varētu mācīties un domāt.

Filozofijas pārvēršana inženierzinātnēs

Līdz šim Hintona jaunā ideja ir labi uzņemta, it īpaši dažās no pasaules lielākajām atbalss kamerām. Viņš saka, ka vietnē Twitter man ir daudz atzīmju Patīk. Un a Youtube apmācība izvirzīja pretenzijas uz terminu MeGLOMania.

Hintons ir pirmais, kurš atzīst, ka šobrīd GLOM ir nedaudz vairāk par filozofisku domāšanu (viņš gadu pavadīja kā filozofijas bakalaura grāds, pirms pārgāja uz eksperimentālo psiholoģiju). Ja ideja filozofijā izklausās labi, tā ir laba, viņš saka. Kā jums kādreiz varētu rasties filozofiska ideja, kas izklausās pēc muļķības, bet patiesībā izrādās patiesa? Tā nebūtu filozofiska ideja. Salīdzinājumam, zinātne ir pilna ar lietām, kas izklausās pēc pilnīgas muļķības, bet izrādās, ka tās darbojas ļoti labi, piemēram, neironu tīkli, viņš saka.

GLOM ir izstrādāts tā, lai tas izklausītos filozofiski ticams. Bet vai tas darbosies?

Kriss Viljamss, Edinburgas Universitātes Informātikas skolas mašīnmācības profesors, sagaida, ka GLOM varētu radīt lieliskas inovācijas. Tomēr viņš saka, ka AI no filozofijas atšķir tas, ka mēs varam izmantot datorus, lai pārbaudītu šādas teorijas. Viņš saka, ka, iespējams, šādi eksperimenti var atklāt idejas trūkumus, iespējams, arī labot. Pašlaik es domāju, ka mums nav pietiekami daudz pierādījumu, lai novērtētu idejas patieso nozīmi, lai gan es uzskatu, ka tai ir daudz solījumu.

GLOM testa modeļa ievades ir desmit elipses, kas veido aitu vai seju.

LAURA KULP

Daži no Hintona kolēģiem Google pētniecībā Toronto atrodas GLOM eksperimentālās izpētes agrīnā stadijā. Laura Kulpa, programmatūras inženiere, kas ievieš jaunas neironu tīkla arhitektūras, izmanto datorsimulāciju, lai pārbaudītu, vai GLOM var radīt Hintona vienošanās salas, lai izprastu objekta daļas un veselumus, pat ja ievades daļas ir neskaidras. Eksperimentos daļas ir 10 elipses, dažāda izmēra ovāli, kurus var izkārtot, veidojot seju vai aitu.

Nejauši ievadot vienu vai otru elipsi, modelim jāspēj veikt prognozes, saka Kulps, un tikt galā ar nenoteiktību par to, vai elipse ir vai nav daļa no sejas vai aitas un vai tā ir aitas kāja. , vai aitas galva. Saskaroties ar jebkādiem traucējumiem, modelim jāspēj arī pašam sevi labot. Nākamais solis ir bāzes līnijas noteikšana, kas norāda, vai standarta dziļās mācīšanās neironu tīkls varētu tikt sajaukts ar šādu uzdevumu. Pagaidām GLOM tiek stingri uzraudzīts — Culp izveido un marķē datus, mudinot un piespiežot modeli atrast pareizas prognozes un gūt panākumus laika gaitā. (Nepārraudzītās versijas nosaukums ir GLUM — tas ir joks, saka Hintons.)

Šajā sākotnējā stāvoklī ir pāragri izdarīt lielus secinājumus. Kulps gaida vairāk numuru. Tomēr Hintons jau ir pārsteigts. Viņš saka, ka vienkārša GLOM versija var aplūkot 10 elipses un redzēt seju un aitu, pamatojoties uz telpiskajām attiecībām starp elipsēm. Tas ir sarežģīti, jo atsevišķa elipse neko nenorāda par to, kādam objekta veidam tā pieder vai kura šī objekta daļa tā ir.

Un kopumā Hintons ir apmierināts ar atsauksmēm. Es tikai gribēju to izlikt sabiedrībai, lai ikviens, kam patīk, varētu to izmēģināt, viņš saka. Vai arī izmēģiniet kādu šo ideju apakškombināciju. Un tad tas pārvērtīs filozofiju par zinātni.

paslēpties