Kā DeepMind atmiņas triks palīdz AI mācīties ātrāk

Viedo mašīnu redzeslokā ir cilvēki. Dziļās apmācības iekārtām jau ir pārcilvēciskas prasmes, veicot tādus uzdevumus kā sejas atpazīšana, videospēļu spēlēšana un pat senā ķīniešu spēle Go. Tāpēc ir viegli domāt, ka cilvēki jau ir pārspēti.

Bet ne tik ātri. Viedās mašīnas joprojām atpaliek no cilvēkiem vienā būtiskā veiktspējas jomā: ātrums, kādā tās mācās. Piemēram, ja runa ir par klasisko videospēļu apgūšanu, labākajām padziļinātajām mācību iekārtām ir vajadzīgas aptuveni 200 spēles stundas, lai sasniegtu tādu pašu prasmju līmeni, kādu cilvēki sasniedz tikai divās stundās.

Tāpēc datorzinātnieki ļoti vēlētos, ja viņiem būtu kāds veids, kā paātrināt mašīnu mācīšanās ātrumu.

Šodien Aleksandrs Pricels un draugi Google DeepMind meitasuzņēmumā Londonā apgalvo, ka ir darījuši tieši to. Šie puiši ir izveidojuši padziļinātas mācīšanās iekārtu, kas spēj ātri asimilēt jaunu pieredzi un pēc tam to izmantot. Rezultāts ir mašīna, kas mācās ievērojami ātrāk nekā citas un kurai ir potenciāls līdzināties cilvēkiem ne pārāk tālā nākotnē.

Pirmkārt, nedaudz fona. Padziļinātā mācīšanās izmanto neironu tīklu slāņus, lai meklētu datu modeļus. Kad viens slānis pamana atpazītu rakstu, tas nosūta šo informāciju nākamajam slānim, kas meklē modeļus šajā signālā utt.

Tātad sejas atpazīšanā viens slānis var meklēt attēla malas, nākamais slānis – apļveida malu rakstus (tādus, kādus veido acis un mute), bet nākamais slānis – trīsstūrveida rakstus, piemēram, tos, ko veido divas acis un mute. Kad tas viss notiek, gala rezultāts ir norāde, ka ir pamanīta seja.

Protams, velns slēpjas detaļās. Ir dažādas atgriezeniskās saites sistēmas, kas ļauj sistēmai mācīties, pielāgojot dažādus iekšējos parametrus, piemēram, savienojumu stiprumu starp slāņiem. Šiem parametriem jāmainās lēnām, jo ​​lielas izmaiņas vienā slānī var katastrofāli ietekmēt mācīšanos nākamajos slāņos. Tāpēc dziļajiem neironu tīkliem ir nepieciešams tik daudz apmācību un tāpēc tas prasa tik ilgu laiku.

Pritzel un co ir risinājuši šo problēmu, izmantojot paņēmienu, ko viņi sauc par neironu epizodisku kontroli. Viņi saka, ka neironu epizodiskā kontrole demonstrē dramatiskus mācīšanās ātruma uzlabojumus dažādās vidēs. Būtiski, ka mūsu aģents spēj ātri pieķerties ļoti veiksmīgām stratēģijām, tiklīdz tās ir pieredzētas, tā vietā, lai gaidītu daudzas optimizācijas darbības.

DeepMind pieejas pamatideja ir kopēt veidu, kā cilvēki un dzīvnieki ātri mācās. Vispārējā vienprātība ir tāda, ka cilvēki var risināt situācijas divos dažādos veidos. Ja situācija ir pazīstama, mūsu smadzenes jau ir izveidojušas tās modeli, ko tās izmanto, lai noskaidrotu, kā vislabāk uzvesties. Tas izmanto smadzeņu daļu, ko sauc par prefrontālo garozu.

Bet, ja situācija nav pazīstama, mūsu smadzenēm ir jāatgriežas pie citas stratēģijas. Tiek uzskatīts, ka tas ietver daudz vienkāršāku testēšanas un atcerēšanās pieeju, kas saistīta ar hipokampu. Tāpēc mēs kaut ko izmēģinām un atceramies šīs epizodes iznākumu. Ja tas izdodas, mēģinām vēlreiz un tā tālāk. Bet, ja tā nav veiksmīga epizode, mēs cenšamies no tās izvairīties nākotnē.

Ar šo epizodisko pieeju pietiek īstermiņā, kamēr mūsu prefrontālās smadzenes mācās. Taču drīz to pārspēj prefrontālā garoza un tās uz modeļiem balstītā pieeja.

Pritzel un co ir izmantojuši šo pieeju kā iedvesmu. Viņu jaunajai sistēmai ir divas pieejas. Pirmā ir parastā dziļās mācīšanās sistēma, kas atdarina prefrontālās garozas uzvedību. Otrais vairāk atgādina hipokampu. Kad sistēma izmēģina kaut ko jaunu, tā atceras rezultātu.

Bet vissvarīgākais ir tas, ka tas nemēģina uzzināt, ko atcerēties. Tā vietā tas visu atceras. Mūsu arhitektūra nemēģina iemācīties, kad rakstīt atmiņā, jo tas var būt lēns un aizņemt daudz laika, saka Pritzels un citi. Tā vietā mēs izvēlamies ierakstīt visu pieredzi atmiņā un ļaujam tai izaugt ļoti lielai, salīdzinot ar esošajām atmiņas arhitektūrām.

Pēc tam viņi izmanto stratēģiju kopumu, lai ātri lasītu no šīs lielās atmiņas. Rezultāts ir tāds, ka sistēma var piesaistīt veiksmīgas stratēģijas daudz ātrāk nekā parastās dziļās apmācības sistēmas.

Viņi turpina demonstrēt, cik labi tas viss darbojas, apmācot savu mašīnu spēlēt klasiskās Atari videospēles, piemēram, Breakout, Pong un Space Invaders. (Šis ir rotaļu laukums, ko DeepMind ir izmantojis, lai apmācītu daudzas dziļas mācīšanās iekārtas.)

Komanda, kurā ietilpst DeepMind līdzdibinātājs Demiss Hasibiss, parāda, ka neironu epizodiskā kontrole ievērojami pārspēj citas dziļās mācīšanās pieejas savā mācīšanās ātrumā. Mūsu eksperimenti liecina, ka neironu epizodiskajai kontrolei ir nepieciešama mazāka mijiedarbība ar vidi, viņi saka.

Tas ir iespaidīgs darbs ar ievērojamu potenciālu. Pētnieki saka, ka acīmredzams šī darba paplašinājums ir pārbaudīt savu jauno pieeju sarežģītākā 3-D vidē.

Būs interesanti redzēt, kādu vidi komanda izvēlas un kādu ietekmi tas atstās uz reālo pasauli. Ar nepacietību gaidīsim, kā tas izdosies.

Atsauce: Neironu epizodiskā kontrole: arxiv.org/abs/1703.01988

paslēpties