AI iemācījās izmantot rīkus pēc gandrīz 500 miljoniem paslēpes spēļu

OpenAi

Dzīves sākumā uz Zemes bioloģiskie organismi bija ārkārtīgi vienkārši. Tie bija mikroskopiski vienšūnu radījumi, kuriem bija maz vai nebija nekādu koordinācijas spēju. Tomēr miljardiem gadu ilga evolūcija konkurences un dabiskās atlases rezultātā ir novedusi pie sarežģītām dzīvības formām, kas mums ir šodien, kā arī pie sarežģīta cilvēka intelekta.

Sanfrancisko bezpeļņas mākslīgā intelekta pētniecības laboratorijas OpenAI pētnieki tagad pārbauda hipotēzi: ja jūs varētu atdarināt šāda veida konkurenci virtuālajā pasaulē, vai tas arī radītu daudz sarežģītāku mākslīgo intelektu?

Eksperimenta pamatā ir divas šajā jomā esošās idejas: vairāku aģentu mācīšanās, ideja par vairāku algoritmu sacensībām vai koordināciju, lai izraisītu uzvedību, un pastiprināšanas mācīšanās, īpaša mašīnmācīšanās tehnika, kas mācās sasniegt mērķi, izmantojot izmēģinājumus un kļūda. (DeepMind popularizēja pēdējo ar savu izrāvienu programmu AlphaGo, kas pārspēja labāko cilvēku spēlētāju senajā ķīniešu galda spēlē Go.)

Iekšā jauns papīrs Šodien izlaists OpenAI ir atklājis savus sākotnējos rezultātus. Simtiem miljonu reižu spēlējot vienkāršu paslēpes spēli, divas pretējas AI aģentu komandas izstrādāja sarežģītas slēpšanās un meklēšanas stratēģijas, kas ietvēra rīku izmantošanu un sadarbību. Pētījums sniedz arī ieskatu OpenAI dominējošajā pētniecības stratēģijā: dramatiski mērogot esošās AI metodes, lai redzētu, kādas īpašības parādās.

Pēc aptuveni 25 miljoniem paslēpes slēpņotāji iemācījās būvēt fortus, lai uzvarētu spēlē. OpenAI

Sešas stratēģijas fāzes

Lai izveidotu spēli, pētnieki izstrādāja virtuālu vidi, kas sastāvēja no slēgtas telpas ar dažādiem objektiem, piemēram, blokiem, rampām un mobilām un nekustīgām barikādēm. Pašus aģentus kontrolēja pastiprināšanas-apmācības algoritmi. Katrai spēlei aģenti tika sadalīti divās komandās: slēpņotāji tika apbalvoti vai sodīti par attiecīgi izvairīšanos vai neizvairīšanos no meklētājiem; meklētāji tika arī apbalvoti vai sodīti par slēpņu atrašanu vai neatrašanu. Tāpat kā klasiskajā paslēpes spēlē, arī slēpņotājiem tika dota dažu sekunžu pārsvars. Pētnieki aģentiem nedeva citus norādījumus.

Simtiem miljonu izspēlēto spēļu raundu laikā aģenti izstrādāja vairākas stratēģijas un pretstratēģijas. Pirmajā fāzē slēpņi un meklētāji izstrādāja ļoti rupjas izvairīšanās un vajāšanas stratēģijas, pārvietojoties pa telpu, nemanipulējot ne ar vienu no objektiem.

Trešajā posmā meklētāji iemācījās kāpt pāri forta sienām, izmantojot rampu. OpenAI

Taču ap 25 miljonu spēļu atzīmi spēle kļuva sarežģītāka. Slēpēji iemācījās pārvietot un aizslēgt kastes un barikādes vidē, lai celtu sev apkārt fortus, lai meklētāji tos nekad neredzētu. Ne tikai tas, bet arī viņi izstrādāja koordinācijas stratēģijas, piemēram, palaižot garām viens otram objektus, lai paātrinātu forta celtniecības procesu.

Tomēr pēc vēl 75 miljoniem raundu meklētāji atklāja pretstratēģiju, pārceļot procesu trešajā fāzē. Viņi iemācījās pārvietot rampu blakus slēpņotāju fortam un izmantot to, lai rāptos pāri sienām. Ceturtajā posmā, 10 miljonus kārtu vēlāk, slēpņi bija iemācījušies nobloķēt rampas pirms sava forta celtniecības. (Neviena no komandām nevarēja atbloķēt objektu, kuru bija bloķējusi pretinieku komanda.)

Sākumā OpenAI pētnieki uzskatīja, ka šī ir pēdējā spēles fāze, bet beidzot, sasniedzot 380 miljonu spēļu atzīmi, parādījās vēl divas stratēģijas. Meklētāji atkal izstrādāja stratēģiju, lai ielauztos slēpņu fortā, izmantojot aizslēgtu rampu, lai uzkāptu uz neaizslēgtas kastes, pēc tam sērfojot pa kastes augšdaļu uz fortu un pāri tā sienām. Beigu fāzē slēpņotāji atkal iemācījās aizslēgt visas rampas un kastes, pirms uzbūvēja savu fortu.

Visbeidzot, pēc 380 miljoniem apmācību, meklētāji iemācījās “sērfot boksā”, lai uzkāptu pāri forta sienām. OpenAI

Jaunā izlūkošana

Pētnieki uzskata, ka šie sākotnējie rezultāti parāda daudzsološu jaunu metodi sarežģītākas AI attīstībai. Mēs nelikām slēpotājiem vai meklētājiem skriet pie kastes vai mijiedarboties ar to, saka Bovens Beikers, viens no darba autoriem. Taču, izmantojot vairāku aģentu konkurenci, viņi viens otram radīja jaunus uzdevumus tā, ka otrai komandai bija jāpielāgojas.

Šis pētījums atspoguļo OpenAI atšķirīgo pieeju AI pētījumiem. Lai gan laboratorija ir arī ieguldījusi jaunu metožu izstrādē salīdzinājumā ar citām laboratorijām, tā galvenokārt ir ieguvusi savu vārdu, ievērojami palielinot esošās. Piemēram, GPT-2, laboratorijas bēdīgi slavenais valodas modelis , ir ļoti aizgūts algoritmiskais dizains no agrākiem valodu modeļiem, tostarp Google BERT ; OpenAI galvenā inovācija bija inženiertehnisko un ekspansīvo skaitļošanas resursu varoņdarbs.

Savā ziņā šis pētījums vēlreiz apstiprina esošo tehnoloģiju ierobežojumu vērienīgu pārbaudi. Komanda arī plāno turpināt šo stratēģiju. Pētnieki saka, ka pirmā eksperimentu kārta ne tuvu nesasniedza skaitļošanas resursu robežas, ko viņi varētu mest problēmas risināšanai.

Mēs vēlamies, lai cilvēki iedomāties, kas notiktu, ja jūs izraisītu šāda veida konkurenci daudz sarežģītākā vidē, saka Beikers. Viņu apgūtā uzvedība, iespējams, galu galā var atrisināt dažas problēmas, kuras mēs, iespējams, jau nezinām, kā atrisināt.

Labojums: Sākotnējā virsrakstā bija nepareizi norādīts aģentu nospēlēto spēļu skaits.

paslēpties