Apgūstot Space Invaders, šahu un Go, mākslīgais intelekts nodarbojas ar video futbolu

Futbola laukums Vienna Reyes | Atbrīvojieties no šļakatām

Google ieņem vadošo pozīciju pasaulē mašīninteliģences pētījumos. Jo īpaši tās meitasuzņēmumam DeepMind ir iespaidīgs sasniegumu saraksts. DeepMind neironu tīkli ir sasnieguši pārcilvēcisku veiktspēju plašā spēļu klāstā. Tie ietver Atari videospēles, piemēram, Pong, Breakout un Space Invaders, kā arī sarežģītākus izaicinājumus, piemēram, tiešsaistes vairāku spēlētāju spēli Starcraft.

DeepMind ir guvis ievērojamus panākumus arī ar tradicionālākām spēlēm. 2016. gadā tā AlphaGo iekārta lieliski pārspēja vienu no pasaulē spēcīgākajiem profesionālajiem Go spēlētājiem, pirmo reizi, kad mašīna šādā veidā triumfēja. Šajā procesā AlphaGo atrada pilnīgi jaunus spēles veidus, kas ir mainījuši cilvēku domāšanu par spēli.

Neapmierinās ar to, ka sēž uz lauriem, Google tagad pievērš uzmanību vairāk atvērtām spēlēm, kurās neparedzamībai ir svarīgāka loma. Un tā nākamais mērķis ir video futbols.

Karols Kurachs un kolēģi no Google Research's Brain Team ir izveidojuši futbola videospēli ar nosaukumu Google Research Football Environment, lai ļautu pētniekiem pārbaudīt savus algoritmus pasaulē, kas ir balstīta uz fiziku, ir pielāgojama, viegli lietojama un bezgalīgi reproducējama. Viņi ir padarījuši šo pasauli pieejamu ar atvērtā pirmkoda licenci, lai pētnieki jebkurā vietā varētu to izmantot, lai izstrādātu labākus futbola spēļu algoritmus.

Vispirms nedaudz fona. Viens no AI pētnieku izaicinājumiem ir atrast uzdevumus, kas piedāvā jaunas problēmas mašīnmācības algoritmiem. Vienkāršas videospēles, piemēram, Pong vai Breakout, dažreiz ir pārāk vienkāršas šiem algoritmiem, kas var sasniegt pārcilvēcisku veiktspēju jau pēc dažu stundu apmācības.

Taču dažas no sarežģītākajām videospēlēm, piemēram, Starcraft, ir pārāk izaicinošas. Starcraft ir reāllaika stratēģijas spēle vairākiem spēlētājiem, un tā norisinās lielā tiešsaistes visumā. AI pētnieki ir sākuši par to interesēties, jo tas ļauj viņiem spēlēt pret citiem cilvēkiem un pret spēlēm balstītām AI sistēmām sarežģītās vidēs.

Tomēr spēle ir tik plaša un sarežģīta, ka tai ir nepieciešami milzīgi skaitļošanas resursi, lai savāktu attiecīgos datus un apmācītu mašīnmācības sistēmu. Un šie resursi vairumam pētnieku nav pieejami.

Vēl viena problēma ir tā, ka daudzas daudzsološas tiešsaistes vides darbojas ar patentētu kodu, ko pētnieki nevar mainīt vai pat redzēt. Tas padara neiespējamu zināt, kā spēle pieņem svarīgus lēmumus, vai eksperimentēt ar dažādiem lēmumu pieņemšanas procesiem.

Visbeidzot, daudzas spēles ir pilnībā determinētas: tās tiks spēlētas tieši tādā pašā veidā, ja tiek izmantotas tādas pašas ievades. Tas padara tos vienkāršus, lai apgūtu algoritmus.

Taču reālajā pasaulē lietas nenotiek tā, kur svarīga prasme ir spēja tikt galā ar negaidītām darbībām. Vienīgais veids, kā mašīnas var apgūt šo prasmi, ir trenēties neparedzamā vidē. Taču neparedzamībai ir jābūt kontrolējamai — pārāk maz, un spēle ir pārāk viegla, savukārt pārāk daudz padara mācīšanos par grūtu. Šādas vides izveide ir sarežģīta.

Šeit tiek izmantoti futbola simulatori. Tiem ir noteikts paredzamības līmenis, pamatojoties uz spēles fiziku. Taču ir arī daudz neparedzamības, kas rodas no pretinieku spēlētāju taktikas, spēlētāju nesakritības tādās situācijās kā tackling utt.

Tātad Kurach un kolēģi ir izveidojuši savu simulatoru. Kā bāzi viņi izmantoja publiski pieejamu spēli Gameplay Football, kas nodrošina pilnas futbola spēles ar vārtiem, noteikumu pārkāpumiem, stūriem, sodiem, offside un tā tālāk. Futbola vide nodrošina uz fiziku balstītu 3D futbola simulāciju, kurā aģentiem ir jāvada savi spēlētāji, jāiemācās piespēlēt starp viņiem un kā pārvarēt pretinieka aizsardzību, lai gūtu vārtus, norāda Google komanda.

Pētnieki to ir modificējuši, lai nodrošinātu mašīnu panākumu mērauklu, pamatojoties uz to, cik tuvu mašīna var kontrolēti manevrēt bumbu līdz pretinieka vārtiem. Tas ir nepieciešams, jo standarta panākumu mērs — mērķi — atspoguļo salīdzinoši retu notikumu un nenodrošina iespēju mašīnām uzraudzīt savu progresu ik brīdi.

Komanda ir arī izveidojusi vairākas dažādas sarežģītības standarta vides, lai apmācītu un pārbaudītu mākslīgā intelekta iekārtas. Mašīnas uzdevumi ietver vārtu gūšanu tukšos vārtos, skriešanu un vārtu gūšanu pret vārtsargu, 3 pret 1 scenāriju, lai gūtu vārtus, vienlaikus veicinot piespēli utt. Kopējais tests ir standarta spēle ar visiem parastajiem noteikumiem, kas tiek spēlēta pret pretinieku, kura pamatā ir mašīna.

Mācīšanās algoritms var darboties pret citām mašīnām vai pret cilvēkiem. Tas dod pieredzi ar plašu stratēģiju klāstu. Un tas izvairās no scenārija, kurā mašīna vienkārši uzzina uz mašīnu balstīta pretinieka vājās puses, kuras var nebūt piemērojamas spēlēm kopumā. Tas rada sarežģītu pastiprināšanas mācīšanās problēmu, jo futbolā ir nepieciešams dabisks līdzsvars starp īstermiņa kontroli, apgūtām koncepcijām, piemēram, piespēlēm, un augsta līmeņa stratēģiju, saka Kuračs un kolēģi.

Tas ir interesants darbs, kas var palīdzēt mašīnmācībai darboties reālistiskākā vidē. Bet tas arī palielina iespēju, ka mašīnas apgūs jaunas futbola stratēģijas, kuras cilvēki nekad nav apsvēruši, tāpat kā Go.

Šīs ir taktikas, kuras var izspēlēt pat robo-futbola turnīros vai pat spēlēs starp cilvēkiem.

Interesants būs jautājums, vai šīs stratēģijas darbojas tikpat labi gan īstā futbolā, gan simulētajā daudzveidībā. Tas būs aizraujoši gan AI pētniekiem, gan futbola faniem.

Atsauce: arxiv.org/abs/1907.11180 : Google Research Football: A Novel Enforcement Learning Environment

paslēpties