AI pionieris Džefs Hintons: Padziļināta mācīšanās spēs paveikt visu

Noa Bergers/AP

• Par nepilnībām mākslīgā intelekta jomā: 'Būs jāveic diezgan daudz konceptuālu izrāvienu... mums ir nepieciešams arī ievērojams mēroga pieaugums.'
• Par neironu tīklu trūkumiem: 'Neironu tīkli ir pārsteidzoši labi, lai apstrādātu diezgan mazu datu apjomu ar lielu parametru skaitu, bet cilvēki ir vēl labāki.'
• Par to, kā darbojas mūsu smadzenes: 'Tas, kas atrodas smadzenēs, ir šie lielie nervu darbības vektori.'

Mūsdienu mākslīgā intelekta revolūcija sākās neskaidra pētniecības konkursa laikā. Tas bija 2012. gads, gadskārtējā ImageNet konkursa trešais gads, kurā komandas tika aicinātas izveidot datorredzes sistēmas, kas atpazītu 1000 objektus, sākot no dzīvniekiem, ainavām un beidzot ar cilvēkiem.

Pirmajos divos gados labākajām komandām nebija izdevies sasniegt pat 75% precizitāti. Bet trešajā trīs pētnieku grupa — profesors un viņa studenti — pēkšņi pārsita šos griestus. Viņi uzvarēja konkursā ar satriecošu 10,8 procentu punktu pārsvaru. Šis profesors bija Džefrijs Hintons, un viņu izmantoto paņēmienu sauca par dziļo mācīšanos.

Hintons faktiski bija strādājis ar dziļo mācīšanos kopš 1980. gadiem, taču tās efektivitāti ierobežoja datu un skaitļošanas jaudas trūkums. Viņa nelokāmā ticība tehnikai galu galā deva milzīgas dividendes. Ceturtajā ImageNet sacensību gadā gandrīz katra komanda izmantoja dziļu mācīšanos un sasniedza brīnumainus precizitātes pieaugumu. Drīz vien padziļināta mācīšanās tika piemērota uzdevumiem, kas nav saistīti ar attēlu atpazīšanu, kā arī plašā nozaru diapazonā.

Pagājušajā gadā Hintons kopā ar citiem mākslīgā intelekta pionieriem Janu Lekunu un Jošua Bengio saņēma Tjūringa balvu par savu fundamentālo ieguldījumu šajā jomā. 20. oktobrī es runāju ar viņu MIT Technology Review ikgadējā EmTech MIT konferencē par nozares stāvokli un to, kur, viņaprāt, būtu jāvirzās tālāk.

Tālāk teksts ir rediģēts un saīsināts skaidrības labad.

Jūs domājat, ka ar dziļu mācīšanos pietiks, lai atkārtotu visu cilvēka intelektu. Kas tevi padara tik pārliecinātu?

Es ticu, ka padziļināta mācīšanās spēs paveikt visu, taču es domāju, ka būs jāveic daži konceptuāli sasniegumi. Piemēram, 2017.g Ashish Vaswani et al . ieviests transformatori , kas iegūst patiešām labus vektorus, kas attēlo vārdu nozīmes. Tas bija konceptuāls izrāviens. Tagad to izmanto gandrīz visās labākajās dabiskās valodas apstrādē. Mums būs vajadzīgi vēl vairāki šādi sasniegumi.

Un, ja mums būs šie sasniegumi, vai mēs spēsim tuvināt visu cilvēka intelektu, izmantojot dziļu mācīšanos?

Jā. Īpaši atklājumi ir saistīti ar to, kā iegūt lielus neironu aktivitātes vektorus, lai īstenotu tādas lietas kā saprāts. Taču mums ir nepieciešams arī ievērojams mēroga pieaugums. Cilvēka smadzenēs ir aptuveni 100 triljoni parametru jeb sinapses. Ko mēs tagad saucam par patiešām lielu modeli, piemēram GPT-3 , ir 175 miljardi. Tas ir tūkstoš reižu mazāks par smadzenēm. GPT-3 tagad var ģenerēt diezgan ticama izskata tekstu, un tas joprojām ir niecīgs salīdzinājumā ar smadzenēm.

Kad jūs sakāt mērogs, vai jūs domājat lielākus neironu tīklus, vairāk datu vai abus?

Abi. Pastāv zināma neatbilstība starp to, kas notiek datorzinātnēs, un to, kas notiek ar cilvēkiem. Cilvēkiem ir milzīgs parametru daudzums salīdzinājumā ar iegūto datu apjomu. Neironu tīkli ir pārsteidzoši labi, lai tiktu galā ar diezgan mazu datu apjomu, ar milzīgu skaitu parametru, bet cilvēki ir vēl labāki.

Daudzi šajā jomā strādājošie uzskata, ka veselais saprāts ir nākamā lielā spēja, kas jārisina. Vai tu piekrīti?

Piekrītu, ka tā ir viena no ļoti svarīgajām lietām. Es arī domāju, ka motora kontrole ir ļoti svarīga, un dziļie neironu tīkli tagad kļūst par labu. Jo īpaši daži nesen veiktie Google darbi ir parādījuši, ka varat veikt smalku motora vadību un apvienot to ar valodu, lai jūs varētu atvērt atvilktni un izņemt bloku, un sistēma var pateikt dabiskā valodā, ko tā dara.

Attiecībā uz tādām lietām kā GPT-3, kas ģenerē šo brīnišķīgo tekstu, ir skaidrs, ka tam ir jāsaprot daudz, lai ģenerētu šo tekstu, taču nav īsti skaidrs, cik daudz tas saprot. Bet, ja kaut kas atver atvilktni un izņem bloku un saka: es tikko atvēru atvilktni un izņēmu bloku, ir grūti pateikt, ka tas nesaprot, ko dara.

AI jomā cilvēka smadzenes vienmēr ir uzlūkojušas kā lielāko iedvesmas avotu, un dažādas pieejas AI ir radušās no dažādām kognitīvās zinātnes teorijām. Vai jūs uzskatāt, ka smadzenes patiešām veido ārējās pasaules attēlus, lai to saprastu, vai arī tas ir tikai noderīgs domāšanas veids par to?

Jau sen kognitīvajā zinātnē notika debates starp divām domāšanas skolām. Vienu vadīja Stīvens Koslins, un viņš uzskatīja, ka, manipulējot ar vizuāliem attēliem savā prātā, jums ir pikseļu masīvs, un jūs tos pārvietojat. Otra domu skola vairāk atbilst parastajam AI. Tur bija teikts: nē, nē, tās ir muļķības. Tie ir hierarhiski, strukturāli apraksti. Jūsu prātā ir simboliska struktūra, un tas ir ar ko jūs manipulējat.

Es domāju, ka viņi abi pieļāva vienu un to pašu kļūdu. Koslins domāja, ka mēs manipulējam ar pikseļiem, jo ​​ārējie attēli ir veidoti no pikseļiem, un tas ir attēlojums, ko mēs saprotam. Simboli cilvēki domāja, ka mēs manipulējam ar simboliem, jo ​​mēs arī attēlojam lietas simbolos, un tas ir attēlojums, ko mēs saprotam. Es domāju, ka tas ir vienlīdz nepareizi. Tas, kas atrodas smadzenēs, ir šie lielie nervu darbības vektori.

Daži cilvēki joprojām uzskata, ka simboliska attēlošana ir viena no AI pieejām.

Pilnīgi noteikti. Man ir labi draugi, piemēram, Hektors Levesks, kurš patiešām tic simboliskai pieejai un ir paveicis lielu darbu. Es viņam nepiekrītu, taču simboliskā pieeja ir pilnīgi saprātīga lieta, ko izmēģināt. Bet es domāju, ka galu galā mēs sapratīsim, ka simboli vienkārši pastāv ārējā pasaulē, un mēs veicam iekšējās darbības ar lieliem vektoriem.

Kāds, jūsuprāt, ir jūsu vispretrunīgākais skatījums uz AI nākotni?

Mana problēma ir tā, ka man ir šie pretrunīgie uzskati, un pēc pieciem gadiem tie ir plaši izplatīti. Lielākā daļa manu pretrunīgo uzskatu par 80. gadiem tagad ir plaši pieņemti. Tagad ir diezgan grūti atrast cilvēkus, kas viņiem nepiekrīt. Tātad, jā, mani pretrunīgie uzskati ir iedragājuši.

paslēpties