AI vadīta robota roka pavadīja simts gadus, mācot sev pagriezt kubu

Daktils

AI pētnieki ir pierādījuši pašmācības algoritms, kas robota rokai piešķir jaunu izcilu veiklību. Viņu radīšana mācīja manipulēt ar kubu ar neparastām prasmēm, praktizējot simts gadu ekvivalentu datorsimulācijā (lai gan tikai dažas dienas reāllaikā).

Robotiskā roka joprojām ne tuvu nav tik veikla kā cilvēka, un pārāk neveikla, lai to izmantotu rūpnīcā vai noliktavā. Tomēr pētījums parāda mašīnmācības potenciālu, lai atvērtu jaunas robotu iespējas. Tas arī liek domāt, ka kādu dienu roboti varētu iemācīt sev jaunas prasmes virtuālajās pasaulēs, kas varētu ievērojami paātrināt viņu programmēšanas vai apmācības procesu.

Robotu sistēmu, kas nodēvēta par Dactyl, izstrādāja pētnieki plkst OpenAI , bezpeļņas organizācija, kas atrodas Silīcija ielejā. Tajā tiek izmantota Apvienotās Karalistes uzņēmuma Shadow gatavā robotizētā roka, parasta kamera un algoritms, kas jau ir apguvis plašu vairāku spēlētāju videospēli DotA, izmantojot to pašu pašmācības pieeju (skatiet AI algoritmu komanda tikai saspiesti cilvēki sarežģītā datorspēlē).

Algoritms izmanto mašīnmācības tehniku, kas pazīstama kā pastiprināšanas mācīšanās. Daktilam tika dots uzdevums manevrēt ar kubu tā, lai tiktu pagriezta cita seja. Atlika ar izmēģinājumu un kļūdu palīdzību izdomāt, kuras kustības dos vēlamos rezultātus.

Dactyl videoklipos redzams, kā tas griež kubu ar iespaidīgu veiklību. Tas automātiski izdomāja vairākus rokturus, ko cilvēki parasti izmanto. Taču pētījums arī parādīja, cik tālu mākslīgais intelekts vēl ir jāiet: robots spēja veiksmīgi manipulēt ar kubu tikai 13 no 50 reizēm pēc tā simts gadus ilgas virtuālās apmācības laika, kas ir daudz vairāk, nekā nepieciešams cilvēka bērnam.

Tā drīzumā neiederēsies rūpnieciskajā darbplūsmā, saka Rodnijs Brūkss, MIT emeritētais profesors un Rethink Robotics dibinātājs, jaunuzņēmums, kas ražo viedākus rūpnieciskos robotus. Bet tas ir labi — pētniecība ir laba lieta.

Mācību pastiprināšana ir iedvesmota no tā, kā dzīvnieki mācās, izmantojot pozitīvas atsauksmes. Tas pirmo reizi tika ierosināts pirms gadu desmitiem, taču tas ir izrādījies praktisks tikai pēdējos gados, pateicoties sasniegumiem, kas saistīti ar mākslīgajiem neironu tīkliem (skatiet 10 revolucionāras tehnoloģijas 2017. gadā: Pastiprināšanas mācības). Alphabet meitasuzņēmums DeepMind izmantoja pastiprinošu mācīšanos, lai izveidotu AlphaGo — datorprogrammu, kas iemācījās spēlēt velnišķīgi sarežģīto un smalko galda spēli Go ar pārcilvēciskām prasmēm.

Citi robotikas pētnieki jau kādu laiku ir izmēģinājuši šo pieeju, taču viņus nomāc grūtības atdarināt reālās pasaules sarežģītību un neparedzamību. OpenAI pētnieki to pārvarēja, ieviešot nejaušas variācijas savā virtuālajā pasaulē, lai robots varētu iemācīties ņemt vērā tādus traucējumus kā berze, troksnis robota aparatūrā un brīži, kad kubs ir daļēji paslēpts.

Alekss Rejs, viens no robota izstrādātājiem, saka, ka Dactyl varētu uzlabot, piešķirot tam lielāku apstrādes jaudu un ieviešot lielāku nejaušību. Es nedomāju, ka mēs vēl esam sasnieguši robežu, viņš saka. Rejs piebilst, ka nav plānots mēģināt komercializēt tehnoloģiju. Viņa komanda koncentrējas tikai uz visspēcīgāko vispārināto mācību pieeju izstrādi.

To ir grūti izdarīt labi, saka Dmitrijs Berensons , robotists Mičiganas Universitātē, kurš specializējas mašīnu manipulācijās. Berensons saka, ka nav īsti skaidrs, cik tālu mūs aizvedīs jaunākās mašīnmācīšanās pieejas. Viņš saka, ka ir jāpieliek daudz cilvēku pūļu, lai izveidotu pareizo tīklu konkrētam uzdevumam. Bet viņš uzskata, ka simulēta mācīšanās varētu izrādīties ļoti noderīga: ja mēs varam droši pārvarēt 'realitātes plaisu', tas padara mācīšanos eksponenciāli vieglāku.

paslēpties