Robota roka iemācījās atrisināt Rubika kubu pēc tam, kad bija izveidojis savu treniņu režīmu

OPENAI OpenAI

Vairāk nekā pirms gada OpenAI, Sanfrancisko bezpeļņas mākslīgā intelekta pētniecības laboratorija, paziņoja, ka ir apmācījusi robotu roku, lai ar ievērojamu veiklību manipulētu ar kubu.

Tas varētu neizklausīties zemi satriecoši. Bet AI pasaulē tas bija iespaidīgs divu iemeslu dēļ. Pirmkārt, roka bija iemācījusies kustēties ar kubu, izmantojot pastiprināšanas-mācīšanās algoritmu — paņēmienu, kas veidots pēc dzīvnieku mācīšanās veida. Otrkārt, visas apmācības tika veiktas simulācijā, taču tās izdevās veiksmīgi iztulkot reālajā pasaulē. Abos veidos tas bija svarīgs solis ceļā uz veiklākiem robotiem rūpnieciskiem un patērētāju lietojumiem.

Es biju pārsteigts, par 21018 rezultātiem saka Leslija Kēlblinga, robotiķe un MIT profesore. Tā nav lieta, ko es būtu iedomājusies, ka viņi būtu varējuši strādāt.

Iekšā jauns papīrs šodien OpenAI ir izlaidusi jaunākos rezultātus ar savu robotu roku Dactyl. Šoreiz Daktils ir iemācījies atrisināt Rubika kubu ar vienu roku — vēlreiz ar pastiprināšanas mācīšanos simulācijā. Tas ir ievērojams ne tik daudz tāpēc, ka robots uzlauza veco mīklu, bet gan tāpēc, ka sasniegums ieguva jaunu veiklības līmeni.

Tā ir patiešām smaga problēma, saka Dmitrijs Berensons, Mičiganas universitātes robotists, kurš specializējas mašīnu manipulācijās. Manipulācijas, kas nepieciešamas, lai pagrieztu Rubika kuba daļas, patiesībā ir daudz grūtākas nekā kuba pagriešana.

Pārbaudes laikā Daktils veiksmīgi atrisināja Rubika kubu pat neparedzētos apstākļos.

No virtuālās uz fizisko pasauli

Tradicionāli roboti ir spējuši manipulēt ar objektiem tikai ļoti vienkāršos veidos. Lai gan pastiprināšanas-mācību algoritmi ir guvuši lielus panākumus sarežģītu uzdevumu veikšanā programmatūrā, piemēram, pārspējot labāko spēlētāju senajā spēlē Go , to izmantošana fiziskas mašīnas apmācīšanai ir cits stāsts. Tas ir tāpēc, ka algoritmiem ir jāpilnveidojas, izmantojot izmēģinājumus un kļūdas — daudzos gadījumos miljoniem to kārtu. Iespējams, tas prasīs pārāk ilgu laiku un daudz nolietošanās, lai fizisks robots to paveiktu reālajā pasaulē. Tas varētu būt pat bīstami, ja robots mežonīgi dauzītos, lai savāktu datus.

Lai no tā izvairītos, robotiķi izmanto simulāciju: viņi izveido sava robota virtuālo modeli un apmāca to virtuāli veikt konkrēto uzdevumu. Algoritms mācās digitālās telpas drošībā, un pēc tam to var pārnest fiziskā robotā. Bet šim procesam ir savi izaicinājumi. Ir gandrīz neiespējami izveidot virtuālu modeli, kas precīzi atkārto visus tos pašus fizikas likumus, materiālu īpašības un manipulācijas, kas redzamas reālajā pasaulē, nemaz nerunājot par neparedzētiem apstākļiem. Tādējādi, jo sarežģītāks ir robots un uzdevums, jo grūtāk ir pielietot praktiski apmācītu algoritmu fiziskajā realitātē.

Tieši tas Kēlblingu pārsteidza par OpenAI rezultātiem pirms gada. Tās panākumu atslēga bija tāda, ka laboratorija katrā apmācības kārtā izmantoja simulētos apstākļus, lai padarītu algoritmu pielāgojamāku dažādām iespējām.

Viņi sajauca savu simulatoru visādos trakos veidos, saka Kāelblings. Viņi ne tikai mainīja gravitācijas spēku, bet arī mainīja gravitācijas punktu virzienu. Tātad, mēģinot izveidot stratēģiju, kas droši darbotos ar visām šīm trakajām simulācijas permutācijām, algoritms faktiski darbojās īstā robotā.

Jaunākajā dokumentā OpenAI šo metodi sper vienu soli tālāk. Iepriekš pētniekiem bija randomizēti vides parametri, ar rokām izvēloties, kuras permutācijas, viņuprāt, novedīs pie labāka algoritma. Tagad apmācības sistēma to dara pati. Katru reizi, kad robots sasniedz noteiktu meistarības līmeni esošajā vidē, simulators pielāgo savus parametrus, lai padarītu treniņu apstākļus vēl grūtākus.

Rezultāts ir vēl izturīgāks algoritms, kas var pārvietoties ar precizitāti, kas nepieciešama, lai reālajā dzīvē pagrieztu Rubika kubu. Pārbaudot, pētnieki atklāja, ka Daktils arī veiksmīgi atrisināja kubu dažādos apstākļos, kuros tas nebija apmācīts. Piemēram, tas varēja izpildīt uzdevumu, valkājot gumijas cimdu, kopā sasietus dažus pirkstus un kamēr to mudināja pildīta rotaļlieta žirafe.

Universālie roboti

OpenAI uzskata, ka jaunākie rezultāti sniedz pārliecinošus pierādījumus tam, ka viņu pieeja atklās vairāk vispārējas nozīmes robotu, kas var pielāgoties atvērtā vidē, piemēram, mājas virtuvē. Rubika kubs ir viens no vissarežģītākajiem cietajiem objektiem, saka Marcins Andrychowicz no OpenAI. Es domāju, ka citi objekti nebūs daudz sarežģītāki.

Lai gan ir sarežģītāki uzdevumi, kas ietver vairāk objektu vai deformējamu objektu, viņš saka, ka viņš jūtas pārliecināts, ka laboratorijas metode var apmācīt robotus tiem visiem: es domāju, ka šī pieeja ir pieeja plašai robotikas ieviešanai.

Tomēr gan Berensons, gan Kēlblings joprojām ir skeptiski noskaņoti. Var rasties iespaids, ka pastāv viena vienota teorija vai sistēma, un tagad OpenAI to tikai piemēro šim uzdevumam un šim uzdevumam, Berensons saka par iepriekšējo un pašreizējo rakstu. Bet tas nemaz nenotiek. Tie ir atsevišķi uzdevumi. Ir kopīgi komponenti, taču šeit ir arī milzīgs inženierijas apjoms, lai katrs jauns uzdevums darbotos.

Tāpēc es jūtos mazliet neērti, jo apgalvojumi par to noved pie vispārējas nozīmes robotiem, viņš saka. Es to redzu kā ļoti specifisku sistēmu, kas paredzēta konkrētam lietojumam.

Berensons uzskata, ka daļa no problēmas ir mācīšanās pastiprināšana. Pēc būtības tehnika ir izstrādāta, lai apgūtu vienu konkrētu lietu, ar zināmu elastību, lai apstrādātu izmaiņas. Bet reālajā pasaulē iespējamo variantu skaits pārsniedz to, ko var saprātīgi simulēt. Piemēram, tīrīšanas uzdevumā jums var būt dažāda veida mopi, dažāda veida noplūdes un dažāda veida grīdas.

Pastiprināšanas mācības ir paredzētas arī jaunu iespēju apguvei, galvenokārt no nulles. Tas nav ne efektīvs robotikā, ne tas, kā cilvēki mācās. Ja jūs jau esat pietiekami kompetents cilvēks un es mēģināju jums iemācīt motoriskās prasmes virtuvē — piemēram, varbūt jūs nekad neesat kaut ko pērtijis ar karoti, — tas nav tā, ka jums ir jāapgūst visa motora kontrole no jauna, saka Kāelblings. .

Pārsniedzot šos ierobežojumus, Berensons apgalvo, ka būs nepieciešamas citas, tradicionālākas robotikas metodes. Viņš saka, ka dienas beigās būs daži mācību procesi — iespējams, pastiprinoša mācīšanās. Bet es domāju, ka tiem vajadzētu būt daudz vēlāk.

Lai vairāk šādu stāstu tiktu piegādāts tieši jūsu iesūtnē, reģistrējieties mūsu Webby nominētajam AI informatīvajam izdevumam The Algorithm. Tas ir par brīvu.

paslēpties