Uber ir uzlauzis divas klasiskās 80. gadu videospēles, piešķirot mākslīgā intelekta algoritmam jauna veida atmiņu

Squakenet

Jauna veida mašīnmācības algoritms tikko apguva pāris atpazīstamības videospēles, kas ir izrādījušās lielas AI galvassāpes.

Tie, kas seko līdzi, zinās, ka mākslīgā intelekta algoritmi ir pārspējuši pasaules labākos spēlētājus senajā, elegantajā stratēģijas spēlē Go, kas ir viena no grūtākajām spēlēm, kādu vien var iedomāties. Taču divas pikseļu klasiskās spēles no 8 bitu datorspēļu laikmeta — Montezuma’s Revenge un Pitfall! — ir atbaidījušas AI pētniekus.

Šai šķietamajai pretrunai ir iemesls. Lai gan maldinoši vienkārši, gan Montezuma atriebība, gan slazds! ir bijuši imūni pret meistarību, izmantojot pastiprinošo mācīšanos — paņēmienu, kas citādi ir lietpratīgs, lai iemācītos iekarot videospēles. DeepMind, Alphabet meitasuzņēmums, kas koncentrējas uz mākslīgo intelektu, plaši izmantoja to, lai izstrādātu algoritmus, kas spēj iemācīties spēlēt vairākas klasiskas videospēles ekspertu līmenī. Mācību pastiprināšanas algoritmi lieliski sader ar lielāko daļu spēļu, jo tie pielāgo savu uzvedību, reaģējot uz pozitīvām atsauksmēm — rezultāts palielinās. Pieejas panākumi ir radījuši cerību, ka AI algoritmi varētu iemācīties darīt visu veidu noderīgas lietas, kas pašlaik nav iespējamas mašīnām.

Problēma gan ar Montezumas atriebību, gan ar slazdiem! ir maz ticamu atlīdzības signālu. Abos nosaukumos ir ietverti tipiski scenāriji: varoņi pēta bloķētas pasaules, kas piepildītas ar nāvējošām radībām un slazdiem. Taču katrā gadījumā daudzās uzvedības izpausmes, kas nepieciešamas, lai spēles laikā virzītos uz priekšu, nepalīdz palielināt rezultātu tikai daudz vēlāk. Parastajiem pastiprināšanas-mācību algoritmiem parasti neizdodas izkļūt no pirmās telpas Montezuma's Revenge un Pitfall! viņi iegūst tieši nulle.

Jaunie algoritmi nāk no Uber AI pētniecības komandas Sanfrancisko, kuru vada Džefs Klūns , kurš ir arī Vaiomingas universitātes asociētais profesors. Komanda demonstrēja principiāli atšķirīgu pieeju mašīnmācībai vidē, kas piedāvā dažas norādes, lai parādītu algoritmu, kā tā darbojas.

Šī pieeja rada dažus interesantus praktiskus pielietojumus, Clune un viņa komanda raksta šodien publicētajā emuāra ierakstā, piemēram, robotu mācībās. Tas ir tāpēc, ka nākotnes robotiem būs jāizdomā, ko darīt vidēs, kas ir sarežģītas un piedāvā tikai dažas nelielas atlīdzības.

Uber atklāja savu AI laboratoriju 2016. gada decembrī ar mērķi panākt fundamentālus sasniegumus, kas varētu izrādīties noderīgi tā uzņēmējdarbībai. Labāki pastiprināšanas mācīšanās algoritmi galu galā varētu izrādīties noderīgi tādām lietām kā autonoma braukšana un transportlīdzekļu maršrutu optimizēšana.

AI pētnieki parasti ir mēģinājuši apiet problēmas, ko rada Montezumas atriebība un slazds! dodot norādījumus pastiprināšanas-mācību algoritmiem, lai tie reizēm izpētītu nejauši, vienlaikus pievienojot atlīdzību par izpēti — to sauc par iekšējo motivāciju.

Taču Uber pētnieki uzskata, ka tas nespēj aptvert svarīgu cilvēka zinātkāres aspektu. Mēs izvirzām hipotēzi, ka galvenais pašreizējo iekšējās motivācijas algoritmu vājums ir atdalīšanās, viņi raksta. Algoritmi aizmirst par daudzsološajiem apgabaliem, kurus viņi ir apmeklējuši, tas nozīmē, ka viņi neatgriežas pie tiem, lai redzētu, vai tie noved pie jauniem stāvokļiem.

Komandas jaunā pastiprināšanas-mācību algoritmu saime ar nosaukumu Go-Explore atceras, kur tie bijuši iepriekš, un vēlāk atgriezīsies pie noteiktas jomas vai uzdevuma, lai noskaidrotu, vai tas varētu palīdzēt nodrošināt labākus vispārējos rezultātus. Pētnieki arī atklāja, ka, pievienojot nedaudz domēna zināšanu, liekot spēlētājiem izcelt interesantas vai svarīgas jomas, ievērojami paātrināja algoritmu mācīšanos un progresu. Tas ir svarīgi, jo var būt daudzas reālas situācijas, kurās vēlaties, lai algoritms un persona strādātu kopā, lai atrisinātu grūtu uzdevumu.

Viņu kods Montezuma's Revenge iegūst vidēji 400 000 punktu, kas ir par lielumu augstāks nekā cilvēku ekspertu vidējais rādītājs. Nelaimē! tajā vidēji ir 21 000 spēlētāju, kas ir daudz labāk nekā vairums cilvēku.

Šie rezultāti ir ļoti iespaidīgi, saka Emma Brunskilla, Stenfordas universitātes docente, kas specializējas pastiprināšanas mācībās. Viņa saka, ka ir pārsteidzoši un aizraujoši, ka šīs metodes radīja tik lielas priekšrocības.

Citi mākslīgā intelekta pētnieki ir ķērušies pie šīm bēdīgi smagajām videospēlēm. Oktobrī Sanfrancisko bezpeļņas organizācijas OpenAI komanda demonstrēja algoritmu, kas spēj panākot ievērojamu progresu Montezuma atriebībā.

Brunskila grupa nesen Stenfordā panāca pieticīgāku progresu uz Pitfall! izmantojot Uber komandai līdzīgu pieeju.

Tagad, kad mākslīgā intelekta algoritmi var atrisināt šīs videospēles, izaicinājums ir izkļūt no arkādes un atrisināt reālās pasaules problēmas.

Brunskis piekrīt, ka šāda veida darbam varētu būt liela ietekme robotikā. Bet viņa saka, ka citas reālās situācijas, īpaši tās, kas saistītas ar cilvēka uzvedības modelēšanu, ir daudz grūtākas. Būs ļoti interesanti redzēt, cik labi šī pieeja darbojas sarežģītākiem iestatījumiem, viņa saka.

Tomēr ne visi ir sajūsmā par Uber pētījumiem.

Alekss Irpans, programmatūras inženieris, kas Google strādā pie mašīnmācības un robotikas emuāra ieraksts kurā viņš apšauba, kāpēc Uber AI komanda nebija iesniegusi tehnisko dokumentu kopā ar paziņojumu presei, lai sniegtu sīkāku informāciju par savu darbu.

Irpans arī norāda, ka, mainot spēles stāvokli, lai atvieglotu savu pieeju, Uber AI pētnieki, iespējams, ir būtiski mainījuši spēles laukumu. Ņemot vērā šo faktu, viņš apšauba, cik praktiska varētu būt šī pieeja.

Emuāra ziņojumā teikts, ka šo pieeju varētu izmantot simulētiem robotikas uzdevumiem un pēc tam apvienot ar pārsūtīšanu no sim uz reālu, lai iegūtu reālās pasaules politikas. Šajā jomā es esmu diezgan pesimistisks, viņš raksta.

Atjaunināts 11.28 ar Aleksa Irpana komentāru.

paslēpties