Mašīnmācīšanās algoritms vēro deju deju revolūciju, pēc tam rada savas dejas

Dance Dance Revolution ir viena no klasiskajām 20. gadsimta beigu videospēlēm. Tās panākumus, novitāti un ilgmūžību apliecina tas, ka tas joprojām ir populārs šodien, gandrīz 20 gadus kopš tā izlaišanas.

Šī ir deju spēle, kas sastāv no ekrāna un deju platformas, ko spēlētāji kontrolē ar kājām. Platformā ir četri spilventiņi, kuriem spēlētājiem ir jāpieskaras mūzikai ekrānā redzamajā diagrammā norādītajā secībā. Tāpēc spēlētājiem ir jādejo mūzikas pavadībā, kā to pieprasa spēle.

Spēle arī ļauj spēlētājiem izstrādāt un izplatīt savas dejas. Gadu gaitā cilvēki ir izveidojuši milzīgas deju datubāzes milzīgam populāru dziesmu klāstam.

Tas Krisam Donahjū un draugiem Kalifornijas Universitātē Sandjego radīja ideju. Kāpēc neizmantot šo milzīgo datu bāzi, lai apmācītu padziļinātas apmācības mašīnu, lai radītu savas dejas?

Šodien viņi parāda, kā viņi to ir darījuši. Viņu sistēma, ko sauc par Dance Dance Convolution, kā ievadi izmanto popdziesmu neapstrādātus audio failus un kā izvadi rada deju rutīnas. Rezultāts ir mašīna, kas var horeogrāfēt mūziku.

Pati spēle principā ir vienkārša. Mūzikas atskaņošanas laikā spēlētājs pieskaras deju platformas spilventiņiem ekrānā parādītajā secībā. Katrs spilventiņš var būt vienā no četriem stāvokļiem: ieslēgts, izslēgts, turēt (vai iesaldēts) un atlaist. Tā kā četrus spilventiņus var aktivizēt vai atlaist neatkarīgi, jebkurā brīdī ir 256 iespējamās soļu kombinācijas.

Protams, dejas kļūst arvien grūtākas, jo lielākajā daļā dziesmu ir dejas ar piecām grūtības pakāpēm. Grūtības pakāpi nosaka ritmisko apakšnodaļu ātrums. Iesācēju līmeņa spēlēs ir soļi uz ceturtdaļas un astotās notis, bet augstākas grūtības pakāpes dejās ir 16. notis un daži modeļi, kas ietver 12. un 24. noti.

Deju topu veidošanai ir arī citi neformāli noteikumi. Diagrammu autori cenšas izvairīties no modeļiem, kas liktu spēlētājam pagriezties prom no ekrāna, saka Donahue un citi. Rezultāts ir dejas ar visdažādākajām bagātīgajām struktūrām.

Deju topu izveides automatizācijas uzdevums nebūt nav vienkāršs. Donahue un co sadala to divās daļās. Pirmais ir izlemt, kad novietot pakāpienus, un otrais ir izlemt, kuras darbības izvēlēties. Pēc tam viņi apmāca mašīnmācības algoritmu, lai apgūtu katru uzdevumu.

Pirmais uzdevums ir noteikts, lai dziesmā identificētu laikspiedolu kopu, kurā ievietot soļus. Tas ir līdzīgs labi izpētītai problēmai mūzikas pētījumos, ko sauc par sākuma noteikšanu. Tas ietver svarīgu dziesmas mirkļu identificēšanu, piemēram, melodijas notis vai bungu sitienus.

Lai gan ne katrs sākums mūsu datos atbilst Dance Dance Revolution solim, katrs Deju deju revolūcijas solis atbilst sākumam, teiksim Donahue un citi.

Kad katra posma laikspiedoli ir identificēti, otrais uzdevums ir izvēlēties soli, kas jāveic katrā mirklī.

Visos mašīnmācības uzdevumos apmācības datu kopa ir ļoti svarīga. Mūzikas izpēte agrāk ir bijusi apgrūtināta, jo autortiesību problēmas var liegt dziesmas izmantot pētījumos (vai vismaz nodot tālāk kopā ar rezultātiem).

DDR to var apiet, jo tik daudz deju topu ir izveidojuši parastie lietotāji. Donahue un citi saka, ka vienā tiešsaistes krātuvē, ko sauc par Stepmania Online, tiek glabāti vairāk nekā 350 gigabaiti deju topu ar vairāk nekā 100 000 dziesmu.

Šajā pētījumā komanda koncentrējas uz divām mazākām datu kopām, kas sastāv no ierakstiem un deju diagrammām. Pirmajā ir 90 dziesmas, kuras horeogrāfējis viens autors, kurš katrai dziesmai ir izveidojis piecu grūtības pakāpju diagrammas. Otrajā datu kopā ir 133 dziesmas ar vienu deju diagrammu.

Pēc tam komanda palielina datu kopu, izveidojot katras diagrammas spoguļattēlu, piemēram, mainot kreiso uz labo un augšup pret leju (vai abus). Rezultāts ir 35 stundu mūzikas datu kopa neapstrādātu audio failu veidā ar vairāk nekā 350 000 soļu.

Pēc tam Donahue un co izmanto 80 procentus mūzikas, lai apmācītu mašīnmācības algoritmu, lai atpazītu soļu izvietošanas laiku. Viņi apstiprina un pārbauda iegūto modeli ar atlikušajiem 20 procentiem datu. Un viņi izmanto līdzīgas proporcijas, lai apmācītu citu algoritmu, lai noteiktu soļu izvēli. Līdzīgas metodes tiek plaši izmantotas mašīnmācībā uzdevumiem, piemēram, dabiskās valodas apstrādei.

Rezultāti ir iespaidīgi. Mūsu eksperimenti atklāj iespējamību izmantot mašīnmācīšanos, lai automātiski ģenerētu augstas kvalitātes DDR diagrammas no neapstrādāta audio, saka Donahue un citi.

Viņi saka, ka, apvienojot atziņas no mūzikas sākuma noteikšanas un statistiskās valodas modelēšanas, mēs esam izstrādājuši un novērtējuši vairākas padziļinātas mācīšanās metodes horeogrāfijas apguvei.

Tas ir izklaidējošs darbs, kas parāda mašīnmācības lietderību uzdevumiem, kuros ir lielas anotētas datu kopas. Tas arī parāda, ka atkal kārtējais cilvēka radošuma bastions ir kritis uz mašīnām.

Atsauce: arxiv.org/abs/1703.06891 : Dance Dance Convolution

paslēpties