Kas AI jāiemācās, lai apgūtu citplanētiešu karu

Spēlētāji spēlē StarCraft vietnē Gamescom Ķelnē, Vācijā, 2015. gadā.

Lai uzzinātu, kā cilvēki un AI sistēmas var vislabāk sadzīvot, mums, iespējams, vajadzēs nogalināt daudz Zerg.

DeepMind, uz mākslīgo intelektu vērstā Alphabet vienība, un spēļu uzņēmums Blizzard Entertainment izlaiž rīku komplektu, kas programmētājiem ļaus atraisīt visu veidu AI algoritmus kosmosa tematikas spēlē StarCraft.

Spēle ir izaicinošāka nekā lielākā daļa no tām, kuras līdz šim ir risinājušas AI programmas. StarCraft ir ne tikai ārkārtīgi sarežģīts, bet arī jāplāno tālu uz priekšu un jāmēģina uzminēt, ko dara jūsu pretinieks. Tas nozīmē, ka tādu AI programmu izstrādei, kas spēj saskaņot cilvēkus, vajadzētu palīdzēt pētniekiem ar mašīnām izpētīt jaunus cilvēciskā intelekta aspektus. Vēl viens potenciāls ieguvums, pēc iesaistīto personu domām, būs izpētīt veidus, kā cilvēki un mākslīgie aģenti varētu spēlēt kopā.

StarCraft ir interesants daudzu iemeslu dēļ, saka Oriol Vinyals , DeepMind pētnieks, kurš vada projektu. Piemēram, tas, ka spēlētāji bieži vien saņem tikai priekšstatu par pretinieku aktivitātēm, nozīmē, ka algoritmiem būs jāizstrādā labāki veidi, kā saglabāt informāciju atmiņā. Atmiņa ir kritiska, saka Vinyals. Tas, ko redzat tagad, nav tas, ko redzējāt pirms kāda laika, un kaut kas konkrēts, kas varētu būt noticis pirms minūtes, var likt jums [vēlēties] rīkoties citādi.

DeepMind ir izveidojis iespaidīgu reputāciju, veidojot AI programmas, kas spēj spēlēt dažāda veida spēles ar pārcilvēciskām prasmēm. Uzņēmums sāka ar dažādu Atari spēļu iekarošanu, un pavisam nesen tas pārņēma ārkārtīgi sarežģīto un abstrakto galda spēli Go (skatiet DeepMind's AI Masters the Game of Go desmitgadi agrāk, nekā gaidīts).

Lai apgūtu šīs spēles, DeepMind pētnieki izmantoja mašīnmācības paņēmienu, ko sauc par pastiprināšanas mācīšanos. Mašīnmācīšanās ļauj datoram izdomāt, kā kaut ko izdarīt pašam, neprasot skaidrus norādījumus. Mācību pastiprināšana, ko iedvesmo veids, kā šķiet, ka dzīvnieki mācās, ļauj mācīties, eksperimentējot ar pozitīvu atgriezenisko saiti (skatiet sadaļu 10 Breakthrough Technologies 2017: Reinforcement Learning ). Tomēr Vinyals saka, ka pastiprināšanas mācīšanās pielietošana StarCraft būs grūtāka, jo katrai spēlei ir nepieciešams tik ilgs laiks. Rīcībai, ko es veicu tagad, ir sekas tikai daudz vēlāk, viņš saka.

StarCraft ietvaros spēlētāji sacenšas kā viena no trim rasēm: cilvēkiem līdzīgie terrāņi, kiborgs protoss vai insektoīds zergs. Cīņas ietver sarežģītas stratēģiskas darbības, piemēram, ieguves resursus un bāzu būvniecību, kā arī ilgstošas ​​​​kaujas. StarCraft ir arī populārākais skatītāju e-sports, un jo īpaši Dienvidkorejā turnīri bieži tiek spēlēti masīvos stadionos un tiešraidē tiek rādīti televīzijā. Ievērojami spēlētāji ir atzinīgi novērtējuši izredzes sacensties ar AI programmām, taču DeepMind vēl nav teicis, kad tas varētu notikt (skatiet StarCraft Pros ir gatavi cīnīties ar AI).

DeepMind un Blizzard izstrādātie rīki ļaus AI pētniekiem daudz vieglāk izvietot un pārbaudīt mašīnmācības algoritmus StarCraft. Rīki nodrošinās AI aģentiem tādu pašu skatījumu uz spēli un saskarni, kāds ir spēlētājiem. Tie arī ļauj ierobežot ātrumu, ar kādu programma var izpildīt savas darbības. Tas var nodrošināt, ka programmai ir jāpaļaujas uz tiem pašiem intelektuālajiem rīkiem, ko izmanto personai.

StarCraft jau kādu laiku ir izmantota kā pētniecības platforma, taču to ir bijis samērā grūti izmantot. Vinyals, pats eksperts StarCraft spēlētājs, veica novatorisku darbu, veidojot StarCraft robotprogrammatūras, būdams Kalifornijas Universitātes Bērklijas students (skatiet sadaļu 35 Novators Under 35, 2016: Oriol Vinyals ). Komandas plkst Facebook un Ķīnas uzņēmums Alibaba ir arī publicējuši StarCraft pētījumu. DeepMind publicē rakstu nozīmīgā mašīnmācības konferencē šonedēļ, parādot, kā esošie algoritmi darbojas ar spēli.

Tomēr, lai apgūtu tādu spēli kā StarCraft, var būt nepieciešamas pavisam citas pieejas. Daži citi pētnieki ir guvuši panākumus, izmantojot pieejas, kas ņemtas no spēļu teorijas, lai panāktu progresu citās spēlēs ar nepilnīgu informāciju un kur blefs ir svarīgs. Šā gada sākumā Kārnegija Melona universitātes profesors Tuomass Sandholms un viens no viņa studentiem Noams Brauns izveidoja programmu Libratus, kas pārspēja vairākus profesionālus spēlētājus heads up jeb divu spēlētāju bezlimita Texas hold. em. Libratus izmantoja ļoti sarežģītu algoritmu, lai aprēķinātu optimālo stratēģiju visas spēles garumā (skatiet Kāpēc pokers ir liels darījums mākslīgajam intelektam). Un nejauši Brauns šovasar stažējās DeepMind.

Saistīts stāsts

Saistīts stāsts Pokera spēlēšana ir saistīta ar nepilnīgu informāciju, kas padara spēli ļoti sarežģītu un vairāk līdzinās daudzām reālajām situācijām.

Džeikobs Reps, galvenais Blizzard inženieris, saka, ka viņa uzņēmums ir ieinteresēts noskaidrot, vai sarežģīti mākslīgā intelekta aģenti varētu padarīt spēli interesantāku, spēlējot pret cilvēkiem vai sadarbojoties ar viņiem. Spēlē jau ir iespējams izveidot aģentus, kas izpilda skriptu komandas. Reps saka, ka būtu interesanti, ja šie aģenti zināmā mērā izmantotu arī mašīnmācīšanos. Un viņš saka, ka uzņēmums pēta šāda veida idejas. Viņš saka, ka mēs atklājam, ka šie rīki ir ļoti noderīgi spēļu veidošanai un spēļu funkciju izstrādei.

paslēpties