Runas animācijas mēles savīšanas problēmu risināšana

Kustības uztveršana ir plaši izmantots paņēmiens, lai reģistrētu cilvēka ķermeņa kustības. Patiešām, šī tehnika ir kļuvusi visuresoša tādās jomās kā sporta zinātne, kur to izmanto, lai analizētu kustības un gaitu, kā arī filmu animācijā un spēlēs, kur to izmanto, lai kontrolētu datorizētus iemiesojumus.

Rezultātā pastāv vesela nozare, kas ļauj šādā veidā analizēt kustību, kā arī lētu, nopērkamu aprīkojumu un programmatūru datu iegūšanai un apstrādei. Ir milzīga kustību tveršanas ražotāju un patērētāju kopiena, neskaitāmas datu bāzes un krājuma animācijas resursi, kā arī bagātīga patentētu un atvērtā koda programmatūras rīku ekosistēma, lai ar tiem manipulētu, saka Ingmārs Šteiners no Zāras universitātes Vācijā un daži draugi.

Viena no kustības uztveršanas pasaules iezīmēm ir tāda, ka ķermeņa kustības datu kodēšanai ir izveidots de facto standarts, kas pazīstams kā BioVision Hierarchy vai BVH. BVH ir pārdzīvojis uzņēmumu, kas to izveidoja, un tagad tiek plaši atbalstīts, iespējams, tāpēc, ka tas ir vienkāršs un skaidri definēts, vienkārši īstenojams un cilvēkiem lasāms, saka Steiner un co.

Bet, lai gan BVH tiek izmantots, lai kodētu datus no gandrīz visiem iespējamajiem kustības uztveršanas veidiem, ir viens izņēmums — mēles artikulācija runas laikā. Ja esat domājis, ka runas animācija spēļu varoņiem izskatās slikti, tas ir iemesls.

Šis stāvoklis nav radies datu vai to iegūšanas metožu trūkuma dēļ. Gluži pretēji, pētnieki jau kādu laiku ir izmantojuši reāllaika MRI un elektromagnētiskās attēlveidošanas metodes, lai reģistrētu mēles artikulāciju. Patiešām, šīs metodes rada animācijas ar ievērojami augstāku izšķirtspēju nekā parasti tiek izmantotas, piemēram, filmās un spēlēs.

Problēma ir tā, ka šīs metodes reģistrē datus pavisam citā formātā, nekā tiek izmantots parasti, un neviens nav ticis pie darba, lai tos pārvērstu biežāk sastopamā formātā, piemēram, BVH. Tas padara runas analīzi tehniski sarežģītu un gandrīz neiespējamu to viegli iekļaut citos plašsaziņas līdzekļos

Tas viss šodien mainās, pateicoties Šteinera un līdzgaitnieku darbam. Šie puiši ir izstrādājuši, kā pārvērst augstas izšķirtspējas mēles datus BVH formātā, vienlaikus apvienojot datus no vairākiem avotiem.

Viņi ir demonstrējuši jauno pieeju standarta datubāzē ar esošajiem mēles artikulācijas ierakstiem. Tie ietver reāllaika MRI, zobu skenēšanu un elektromagnētisko ierakstu, kas fiksē kustību, novietojot vadošas spoles uz dažādām mēles daļām un galvaskausu atsaucei, un mēra veidu, kā tie mijiedarbojas ar elektromagnētisko lauku, kad tie pārvietojas.

Rezultāti ir animācijas, kas ģenerētas no augstas izšķirtspējas datiem, ko var apstrādāt ar vairāk vai mazāk jebkuru kustību uztveršanas programmatūru un, kas ir ļoti svarīgi, ar pietiekami mazu nospiedumu, lai to iekļautu reāllaika vizualizācijas un vadības paņēmienos.

Steiner un co ātri norāda, ka viņu pieejas ierobežojumi. Viņi saka, ka šī tehnika nekādā gadījumā nav paredzēta, lai nodrošinātu precīzu mēles formu vai kustību modeli, kā to dara iepriekšējais darbs, izmantojot biomehāniskos modeļus. Drīzāk šeit priekšrocība ir vieglā ieviešana… kur reālistiska animācija ir svarīgāka par patieso mēles formu.

Tas noderēs filmu un spēļu industrijā, kur laba runas animācija izceļas ar tās trūkumu. Tātad izskatās, ka tas mainīsies. Ne pārāk tālā nākotnē meklējiet labākas runas animācijas virtuālos varoņos un animācijās.

Atsauce: arxiv.org/abs/1310.8585 : runas animācija, izmantojot elektromagnētisko artikulogrāfiju kā kustības tveršanas datus

paslēpties