OpenAI muļķīgie sumo cīkstēšanās roboti ir gudrāki, nekā izskatās

Kategorija: Bez kategorijas Ievietots 12. oktobris

Tas varētu būt virtuāls asins sporta veids kādā absurdā tehnonākotnē.

OpenAI, pētniecības institūts, kuru atbalsta Īlons Masks un vairāki citi Silikona ielejas lieli kadri, ir atklājis savu jaunāko pētījumu par jaudīgāku mašīnmācīšanās veidu izstrādi. Un tā demonstrē tehnoloģiju, izmantojot virtuālo sumo cīņu.

Virtuālie cīkstoņi varētu izskatīties nedaudz smieklīgi, taču viņi izmanto ļoti gudru pieeju mācībām strauji mainīgā vidē, saskaroties ar pretinieku.

Aģenti izmanto pastiprināšanas mācīšanās veidu, paņēmienu, ko iedvesmo tas, kā dzīvnieki mācās, izmantojot atgriezenisko saiti. Tas ir izrādījies noderīgs, lai apmācītu datorus spēlēt spēles un vadīt robotus (skatiet sadaļu 10 Breakthrough Technologies 2017: Reinforcement Learning ).

Viens liels izaicinājums, izmantojot pastiprinošo mācīšanos, ir tas, ka tā nedarbojas tik labi reālistiskākās situācijās, kad lietas pastāvīgi mainās. OpenAI jau ir izstrādājis savu pastiprināšanas algoritmu, ko sauc proksimālās politikas optimizācija (PPO) , kas ir īpaši labi piemērots mainīgai videi.

Jaunākais darbs, kas veikts sadarbībā ar pētniekiem no Kārnegija Melona universitātes un UC Berkeley, demonstrē veids, kā AI aģenti var izmantot to, ko pētnieki sauc par meta-apmācības sistēmu. Tas nozīmē, ka aģenti var izmantot to, ko viņi jau ir iemācījušies, un piemērot to jaunā situācijā.

RoboSumo vidē (skatiet video iepriekš) aģenti sāka uzvesties nejauši. Tūkstošiem mēģinājumu un kļūdu atkārtojumu viņi pakāpeniski attīstīja spēju kustēties un galu galā cīnīties. Veicot turpmākas iterācijas, cīkstoņi attīstīja spēju izvairīties viens no otra un pat apšaubīt savu rīcību. Šī mācīšanās notika lidojuma laikā, aģentiem pielāgojoties, pat viņi cīnījās savā starpā.

Elastīga mācīšanās ir ļoti svarīga cilvēka intelekta daļa, un tai būs izšķiroša nozīme, ja mašīnas varēs veikt jebko, kas nav ļoti šaurs uzdevums reālajā pasaulē. Šāda veida mācības ir ļoti grūti ieviest mašīnās, un jaunākais darbs ir neliels, bet nozīmīgs solis šajā virzienā.

Pētnieki atklāja, ka, izmantojot metamācīšanos, viņu sumo roboti varētu ātrāk apgūt efektīvas stratēģijas. Tāpēc, pat ja viņi izskatās mazliet nelaimīgi, nenovērtējiet tos par zemu.