Zinātkāre var būt ļoti svarīga patiesi viedam AI

Mr. tech

Datoralgoritms, kas aprīkots ar mākslīgās zinātkāres veidu, var iemācīties atrisināt sarežģītas problēmas pat tad, ja nav uzreiz skaidrs, kādas darbības varētu palīdzēt sasniegt šo mērķi.

Pētnieki Kalifornijas Universitātē Bērklijā izstrādāja raksturīgo zinātkāres modeli, lai viņu mācīšanās algoritms darbotos pat tad, ja nav spēcīga atgriezeniskās saites signāla. Šīs komandas izstrādātais zinātkāres modelis paredz, ka AI programmatūra, kas kontrolē virtuālo aģentu videospēlē, cenšas maksimāli palielināt izpratni par vidi un jo īpaši vides aspektiem, kas to ietekmē. Iepriekš ir bijuši mēģinājumi radīt AI aģentiem zinātkāri, taču tie ir bijuši vienkāršāk.

Šis triks var palīdzēt novērst mūsdienu jaudīgāko mašīnmācīšanās metožu trūkumu, un tas varētu norādīt uz veidiem, kā uzlabot mašīnas reālās pasaules problēmu risināšanā.

Atlīdzības reālajā pasaulē ir ļoti mazas, saka Pulkit Agrawal , doktorants UC Berkeley, kurš veica pētījumu ar kolēģiem. Zīdaiņi veic visus šos nejaušos eksperimentus, un jūs to varat uzskatīt par sava veida zinātkāri. Viņi apgūst kaut kādas prasmes.

Vairāki jaudīgi mašīnmācīšanās paņēmieni pēdējos gados ir padarījuši mašīnas viedākas. Tostarp metode, kas pazīstama kā pastiprināšanas mācīšanās, ir ļāvusi mašīnām paveikt lietas, kuras būtu grūti definēt kodā. Mācību pastiprināšana ietver pozitīvu atlīdzību izmantošanu, lai virzītu algoritma uzvedību uz noteiktu mērķi (skatiet sadaļu 10 Breakthrough Technologies 2017: Reinforcement Learning).

Pastiprināšanas mācības bija būtiska sastāvdaļa AlphaGo , programma, kuru izstrādāja DeepMind , lai spēlētu abstrakto un sarežģīto galda spēli Go ar neticamu prasmi. Tagad šī tehnika tiek pētīta kā veids, kā piesātināt mašīnas ar citām prasmēm, kuras, iespējams, nav iespējams kodēt manuāli. Piemēram, tas var nodrošināt veidu, kā robota roka pati izdomā, kā veikt vēlamo darbu.

Tomēr mācīšanās pastiprināšanai ir savi ierobežojumi. Agrawal atzīmē, ka bieži vien ir nepieciešams milzīgs apmācības apjoms, lai apgūtu uzdevumu, un process var būt sarežģīts, ja vajadzīgās atsauksmes nav uzreiz pieejamas. Piemēram, šī metode nedarbojas datorspēlēs, kurās noteiktas uzvedības priekšrocības nav uzreiz acīmredzamas. Šeit varētu palīdzēt zinātkāre.

Pētnieki izmēģināja šo pieeju apvienojumā ar pastiprinošu mācīšanos divās vienkāršās videospēlēs: Mario Bros., klasiskā platformas spēle, un VizDoom, pamata 3-D šāvēja nosaukums.

Abās spēlēs mākslīgās zinātkāres izmantošana padarīja mācību procesu efektīvāku. Piemēram, 3-D spēlē aģents tā vietā, lai pavadītu pārmērīgi daudz laika, ietriecoties sienās, pārvietojās apkārtējā vidē, iemācoties ātrāk orientēties. Pat bez jebkādas citas atlīdzības aģents pārsteidzoši labi spēja orientēties abās spēlēs. Mario Bros. tas iemācījās izvairīties no nogalināšanas, jo tas mazināja tās spēju izpētīt un uzzināt par savu vidi.

UZ papīrs aprakstot pētījumu, tiks publicēts galvenajā AI konference vēlāk šogad.

Mākslīgā zinātkāre jau kādu laiku ir bijusi aktīva pētniecības joma. Pjērs Īvs Oudejers , pētniecības direktors uzņēmumā Francijas Datorzinātnes un automatizācijas pētniecības institūts , pēdējos gados ir bijis pionieris datorprogrammu un robotu izstrādē, kas demonstrē vienkāršas zinātkāres formas.

Šobrīd ļoti aizraujoši ir tas, ka šīs idejas, kuras gan galvenie AI, gan neirozinātnes pētnieki uzskatīja par “eksotiskām”, tagad kļūst par galveno tēmu gan AI, gan neirozinātnēs, saka Oudejers.

Darbam varētu būt reāls praktisks ieguvums. UC Berkeley komanda vēlas to izmēģināt uz robotiem, kas izmanto pastiprināšanas mācības, lai noskaidrotu, kā rīkoties, piemēram, satvert neērtus priekšmetus. Agravals saka, ka roboti var tērēt milzīgu laiku, veicot nejaušus žestus. Ja šāds robots ir aprīkots ar iedzimtu zinātkāri, viņam vajadzētu ātrāk izpētīt savu apkārtni un eksperimentēt ar tuvumā esošiem objektiem, viņš saka.

Brendenas ezers Ņujorkas universitātes pētnieks, kurš veido cilvēka kognitīvo spēju skaitļošanas modeļus, saka, ka darbs šķiet daudzsološs. Mašīnu ar līdzīgām īpašībām izstrāde ir svarīgs solis ceļā uz tādu mašīnu izveidi, kas mācās un domā kā cilvēki, viņš teica e-pastā. Tas ir ļoti iespaidīgi, ka, izmantojot tikai zinātkāres vadītu mācīšanos, aģents var iemācīties orientēties Mario līmenī. Aģents pat neskatās uz spēles rezultātu.

Tajā pašā laikā, norāda Leik, jaunās programmas demonstrētā zinātkāre patiesībā ievērojami atšķiras no, piemēram, bērna. Viņš saka, ka cilvēki mēdz izrādīt daudz dziļāku interesi par savu pasauli.

Tā ir ļoti egocentriska ziņkārības forma, Lake saka. Aģentu interesē tikai savas vides iezīmes, kas attiecas uz viņa paša darbībām. Cilvēki ir ziņkārīgāki. Cilvēki vēlas uzzināt par pasauli tādā veidā, kas ir mazāk saistīts ar viņu pašu rīcību.

paslēpties