Roboti saņem pogu “Atsaukt”, kas var palīdzēt viņiem mācīties ātrāk

Kategorija: Bez kategorijas Ievietots 27. novembris

Padziļināta pastiprināšanas mācīšanās darbojas līdzīgi kā bērns, kurš apgūst prasmes: prakse padara perfektu. Tomēr autonomam aģentam, piemēram, robotam, tā vide starp mēģinājumiem ir jāatiestata sākotnējā stāvoklī — darbs, kas var ilgt stundas, jo cilvēki, piemēram, skraida ap objektu nomaiņu.

Jauns arXiv papīrs pētnieki ar Google Brain, Kembridžas Universitāti, Maksa Planka Inteliģento sistēmu institūtu un UC Berkeley apraksta metodi, kas var iemācīt aģentam atiestatīt vidi nākamajam mēģinājumam, kā arī neļaut tam veikt darbības, kas varētu būt neatgriezeniski.

Viņu mērķis bija nodrošināt aģentiem pārsūtīšanas un atiestatīšanas politiku, kas darbojas kopā. Lai gan pārsūtīšanas politikas uzdevums ir apgūt prasmes, atiestatīšanas funkcija liek aģentam iemācīties neatstāt pēdas, efektīvi attinot darbību. Darbības, kuras, pēc robota domām, būtu neatgriezeniskas, tiek pārtrauktas pēc iespējas ātrāk.

Pētnieki raksta, ka viņi centās sniegt saviem aģentiem intuīciju, lai visu, kas ir atgriezenisks, klasificētu kā drošu, jo ir iespējams atgriezties sākotnējā stāvoklī. Izmantojot izmēģinājumus un kļūdas, aģents atklāj, ka arvien vairāk darbību ir atgriezeniska, ļaujot tai droši izpētīt.

Padziļināta pastiprināšanas mācīšanās bieži tiek veikta simulācijā, un jo īpaši tad, ja reālā vide būs mazāk piedodoša pret kļūdām, piemēram, autonoma automašīna, kas brauc pāri klintij. Pat drošākās situācijās manuālas atiestatīšanas gaidīšana var kļūt par vājo vietu datu vākšanā. Šī iemesla dēļ komandas darbs aprobežojās ar virtuālo vidi. Tomēr galu galā ir jāveic testēšana reālajā pasaulē, un šī izpēte varētu padarīt to ātrāku un drošāku.

Kā Džeks Klārks norāda savā Importēt AI informatīvais izdevums , šis raksts sasaucas ar darbu, kas izklāstīts cits papīrs (PDF) no Facebook AI Research pagājušajā mēnesī, kurā vienam aģentam ir divi atsevišķi režīmi ar iesauku Alise un Bobs, no kuriem viens mēģina mainīt uzdevumu, ko otrs mēģinājis izpildīt. Šāda veida darbs, lai AI varētu plānot uz priekšu, varētu to (un mūs) glābt no postošām kļūdām nākotnē.