Kāpēc cilvēki mācās ātrāk nekā AI — pagaidām

2013. gadā DeepMind Technologies, kas tolaik bija mazpazīstams uzņēmums, publicēja revolucionāru rakstu, kurā parādīts, kā neironu tīkls var iemācieties spēlēt 80. gadu videospēles tā, kā to dara cilvēki - skatoties uz ekrānu. Šie tīkli turpināja sagraut labākos cilvēkus.

Dažus mēnešus vēlāk Google nopirka uzņēmumu par 400 miljoniem ASV dolāru. Kopš tā laika DeepMind ir izmantojis padziļinātu mācīšanos dažādās situācijās, no kurām lielākā daļa ir labākas par cilvēkiem senajā spēlē Go.

Bet, lai gan šis darbs ir iespaidīgs, tas izceļ vienu no nozīmīgajiem dziļās mācīšanās ierobežojumiem. Salīdzinot ar cilvēkiem, mašīnām, kas izmanto šo tehnoloģiju, ir nepieciešams ļoti daudz laika, lai tās apgūtu. Kas ir cilvēka mācīšanās, kas ļauj mums strādāt tik labi ar salīdzinoši nelielu pieredzi?

Šodien mēs saņemam sava veida atbildi, pateicoties Rachit Dubey un kolēģu darbam Kalifornijas universitātē Bērklijā. Viņi ir pētījuši veidu, kā cilvēki mijiedarbojas ar videospēlēm, lai noskaidrotu, uz kādām priekšzināšanām mēs paļaujamies, lai tās saprastu.

Izrādās, ka cilvēki izmanto daudz pamata zināšanu, kad mēs uzņemam jaunu spēli. Un tas ievērojami atvieglo spēļu spēlēšanu. Taču, saskaroties ar spēlēm, kurās šīs zināšanas netiek izmantotas, cilvēki plosās, savukārt mašīnas darbojas tieši tāpat.

Apskatiet datorspēli, kas parādīta iepriekš kreisajā pusē (sākotnējā spēle). Šīs spēles pamatā ir klasiskā spēle Montezuma’s Revenge, kas sākotnēji tika izlaista Atari 8 bitu datoram 1984. gadā.

Nav rokasgrāmatas un instrukcijas; jums pat nav pateikts, kuru spraitu jūs kontrolējat. Un jūs saņemat atsauksmes tikai tad, ja esat veiksmīgi pabeidzis spēli.

Vai tu to spētu? Cik ilgs laiks būtu nepieciešams? Jūs varat izmēģiniet to šajā vietnē (kopā ar citām rakstā minētajām spēlēm) .

Visticamāk, spēle aizņems aptuveni minūti, un šajā procesā jūs, iespējams, veiksit aptuveni 3000 tastatūras darbību. To atklāja Dubejs un līdzinieki, kad viņi atdeva spēli 40 darbiniekiem no Amazon pūļa pakalpojumu vietnes Mechanical Turk, kuriem tika piedāvāts 1 USD, lai pabeigtu spēli.

Tas nav īpaši pārsteidzoši, jo var viegli nojaust, ka spēles mērķis ir virzīt robotu spraitu pretī princesei, uzkāpjot uz ķieģeļiem līdzīgiem objektiem un izmantojot kāpnes, lai sasniegtu augstākās platformas, vienlaikus izvairoties no dusmīgi rozā un uguns objektiem, pētnieki saka.

Turpretim spēle ir grūta mašīnām: daudzi standarta dziļās mācīšanās algoritmi to nemaz nevarēja atrisināt, jo algoritms nevar novērtēt progresu spēles iekšienē, kad atgriezeniskā saite nāk tikai pēc pabeigšanas.

Vislabākā mašīnas veiktspēja bija uz zinātkāri balstīts pastiprināšanas-mācību algoritms, kuram bija nepieciešami aptuveni četri miljoni tastatūras darbību, lai pabeigtu spēli. Tas atbilst aptuveni 37 stundām nepārtrauktas atskaņošanas.

Tātad, kas padara cilvēkus tik daudz labākus? Izrādās, mēs šai spēlei netuvojamies ar baltu lapu. Cilvēks redzēs, ka viņš vai viņa kontrolē robotu un ka robotam ir jāizvairās no uguns, jākāpj pa kāpnēm, jālec pāri spraugām un jāizvairās no saraucošas ienaidnieces, lai sasniegtu princesi. Tas viss ir pateicoties iepriekšējām zināšanām, ka daži objekti ir labi, bet citi (ar sarauktām pieri vai liesmām) ir slikti, ka platformas atbalsta objektus, kamēr var uzkāpt pa kāpnēm, ka lietas, kas izskatās vienādi, uzvedas vienādi, ka gravitācija velk objektus uz leju. , un pat to, kas ir objekti: lietas, kas ir nošķirtas no citām lietām un kurām ir dažādas īpašības.

Turpretim mašīna neko no tā nezina.

Tāpēc Dubey un līdzinieki pārveidoja spēli, lai šī iepriekšējā informācija kļūtu nebūtiska, un pēc tam noteica, cik ilgs laiks bija vajadzīgs, lai Turkers pabeigtu. Pēc tam komanda pieņēma, ka jebkurš šī laika pieaugums ir šīs informācijas nozīmīguma rādītājs.

Mēs izveidojām dažādas videospēles versijas, atkārtoti renderējot dažādas entītijas, piemēram, kāpnes, ienaidniekus, atslēgas, platformas utt., izmantojot alternatīvas faktūras, viņi skaidro. Viņi izvēlējās šīs faktūras, lai maskētu dažādas iepriekšējās zināšanas, un tās mainīja spēles fiziskās īpašības, piemēram, gravitācijas efektu un veidu, kā aģents mijiedarbojas ar savu vidi. Katrā versijā spēles pamatā esošā dinamika bija vienāda.

Rezultāti nodrošina aizraujošu lasīšanu. Mēs atklājam, ka dažu iepriekšējo zināšanu noņemšana izraisa krasi pasliktināšanos ātrumā, ar kādu cilvēki spēlētāji risina spēli, saka Dubey un citi. Patiešām, laiks, kas cilvēkiem nepieciešams, lai atrisinātu spēli, palielinās no minūtes līdz vairāk nekā 20 minūtēm, jo ​​tiek noņemta dažāda veida iepriekšēja informācija.

Turpretim šīs informācijas noņemšana parasti neietekmē ātrumu, kādā mašīnas algoritms mācās.

Komanda pat spēj sarindot dažāda veida informāciju pēc nozīmes, palielinoties laikam, ko izraisa tās noņemšana. Lai noņemtu objekta semantiku, piemēram, sarauktu seju vai uguns simbolu, spēlētājiem ir jāpavada ilgāks laiks pirms pabeigšanas. Taču objekta jēdziena maskēšana padara lietas tik daudz grūtākas, ka daudzi turkeri vienkārši atteicās spēlēt. Mums bija jāpalielina atalgojums līdz 2,25 USD, lai mudinātu dalībniekus nepamest, saka Dubey un co.

Šim reitingam ir interesanta saikne ar veidu, kā cilvēki mācās. Psihologi ir atklājuši, ka divus mēnešus veciem mazuļiem ir primitīvs priekšstats par objektiem, kurus viņi sagaida, lai pārvietotos kā saistīti veselumi. Bet šajā vecumā mazuļi objektu kategorijas neatpazīst.

Līdz trīs līdz piecu mēnešu vecumam zīdaiņi iemācās atpazīt objektu kategorijas; 18 līdz 24 mēnešu vecumā viņi iemācās atpazīt atsevišķus objektus. Aptuveni šajā laikā viņi apgūst arī objektu īpašības (objektu affordances, kā tos sauc psihologi), un tādējādi viņi uzzina atšķirību starp ejamu soli pa līdzenu zemi un neejamu pakāpienu no klints.

Izrādās, ka Dubey un co eksperimenti sarindo šāda veida apgūto informāciju tieši tādā pašā secībā, kādā to apgūst mazuļi. Ir diezgan interesanti atzīmēt, ka secība, kādā zīdaiņi palielina savas zināšanas, atbilst dažādu objektu prioritāšu nozīmei, viņi saka.

Viņi piebilst, ka mūsu darbs sper pirmos soļus, lai kvantitatīvi noteiktu dažādu prioritāšu nozīmi, ko cilvēki izmanto videospēļu risināšanā un izpratnē, kā iepriekšējās zināšanas padara cilvēkus par labu tik sarežģītiem uzdevumiem.

Tas liecina par interesantu ceļu uz priekšu datorzinātniekiem, kuri strādā pie mašīninteliģences — ieprogrammēt savus lādiņus ar tām pašām pamatzināšanām, ko cilvēki apgūst jau agrīnā vecumā. Tādā veidā mašīnām vajadzētu spēt panākt cilvēkus savā mācīšanās ātrumā un varbūt pat pārspēt tos.

Ar nepacietību gaidīsim rezultātus.

Atsauce: arxiv.org/abs/1802.10217 : Cilvēka prioritāšu izpēte videospēļu spēlēšanai

paslēpties