Mašīnredze var izveidot Harija Potera stila fotoattēlus mugļiem

Chung-Yi Weng | youtube

In J.K. Roulingas Harija Potera romāni, maģiskās fotogrāfijas ir līdzīgas parastajām, izņemot to, ka varoņi tajās ir animēti; viņi pamāj ar roku, smaida vai dažreiz pazūd pavisam, lai nodarbotos ar citām lietām.

Maģiskās fotogrāfijas ir Roulingas neparastās iztēles radījums. Bet kaut kas līdzīgs viņiem drīzumā var būt pieejams parastajiem mugliem, pateicoties Čung-Ji Venga darbam Vašingtonas universitātē Sietlā un pāris draugiem. Šie cilvēki ir izveidojuši programmatūras daļu ar nosaukumu Photo Wake-Up, kas var animēt fotogrāfijas centrālo varoni, vienlaikus atstājot pārējo attēlu neskartu.

Šo uzdevumu ir vieglāk pateikt, nekā izdarīt, jo datorzinātnē ir svarīga neatrisināta problēma. Šī ir ķermeņa pozas noteikšanas problēma. Ņemot vērā cilvēka divdimensiju attēlu, jautājums, uz kuru mašīnredze cenšas atbildēt, ir šāds: kādu trīsdimensiju pozu cilvēks ieņem?

Tas ir grūti, jo ķermeņus var daļēji aizsprostot, bieži vien ar citām ķermeņa daļām, piemēram, kad kāds stāv ar saliktām rokām. Tāpēc iekārtai ir grūti noteikt trīsdimensiju struktūru no 2D attēla.

Daudzas datorzinātņu komandas ir mēģinājušas risināt šo problēmu. Šajā darbā Vengs un līdzi izmanto programmu SMPL, ko izstrādājusi Microsoft komanda un Maksa Planka Inteliģento sistēmu institūts Vācijā.

Tas sākas ar cilvēka ķermeņa 2D izgriezumu un uz formas uzliek 3D skeletu. Pēc tam skeletu var animēt, lai radītu kustības sajūtu. Tas atrisina pozas noteikšanas problēmu, lai gan ierobežotos apstākļos.

Kodam ir jāredz ķermeņa izgriezums no galvas līdz kājām no priekšpuses. Tas var izturēt dažus oklūzijas veidus, piemēram, roku ķermeņa priekšā, bet nevar tikt galā ar sarežģītākām oklūzijām, piemēram, kāds sēž ar sakrustotām kājām. Pat neskatoties uz to, izgriezuma kartēšana no fotogrāfijas uz 3D skeletu nerada reālistiskas animācijas.

Šeit darbojas Vengs un citi. Viņu galvenais sasniegums ir izstrādāt veidu, kā deformēt 2D izgriezumu tā, lai tiktu izveidots reālistisks ķermeņa 3D modelis. Mūsu galvenais tehniskais ieguldījums ir metode animēta 3D modeļa izveidošanai, kas atbilst siluetam vienā fotoattēlā, viņi saka.

Agrāk datorzinātnieki ir mēģinājuši atrisināt šo problēmu, deformējot trīsdimensiju ķermeņa formas sietu, lai atspoguļotu 2D izgriezumu. Tas ne vienmēr darbojas labi, tāpēc Vens un citi izmēģina citu pieeju.

Viņu ideja ir kartēt ķermeņa formas sietu 2D telpā un pēc tam saskaņot to ar 2D izgriezumu, izmantojot deformācijas algoritmu. Tas identificē noteiktas ķermeņa daļas — galvu, labo roku, labo kāju, kreiso roku, kreiso kāju un rumpi — un izliek katru no tām tādā veidā, kas atbilst izgriezumam.

Veicot izlīdzināšanu 2D formātā, viņi to pārveido atpakaļ 3D formātā. Viņi saka, ka šī 2D deformācijas pieeja labi darbojas, lai apstrādātu sarežģītus siluetus.

Komanda īpašu uzmanību pievērš galvai, uz kuru cilvēku skatītāji mēdz koncentrēties. Viņi saka, ka galvas pozas precizitāte ir svarīga labai animācijai. Tāpēc viņu algoritms identificē arī tādas funkcijas kā skatiena virziens un galvas leņķis, un pēc tam to izmanto, lai iegūtu precīzu leņķi ķermeņa acu pozai.

Šīs automatizētās metodes ir labas, taču tās nav perfektas. Tāpēc komanda ir izstrādājusi arī lietotāja saskarni, kas ļauj ikvienam mainīt skeleta orientāciju attiecībā pret ķermeni. Tas ļauj lietotājiem labot visas kļūdas un precīzi noregulēt animāciju.

Gala rezultāts ir iespaidīgs animācijas fotoattēls. Algoritms fotoattēlā izolē cilvēka ķermeni, izgriež to no attēla un aizpilda tukšumu ar ielāpu aizpildīšanas algoritmu. Pēc tam tas animē šo ķermeni trīs dimensijās, lai tas izietu no fotoattēla, skrietu, lēktu vai vicinātu, gluži kā Roulingas iztēlotās maģiskās fotogrāfijas. Algoritms darbojas pat paplašinātās realitātes iestatījumos.

Viņi saka, ka mūsu metode darbojas ar plašu visa ķermeņa, diezgan priekšpuses fotoattēlu klāstu, sākot no sporta fotogrāfijām un beidzot ar mākslu un plakātiem. Komanda ir izveidojusi video, kurā parādīta viņu metode un rezultāti šeit . Ir vērts noskatīties!

Tas ir interesants darbs ar potenciālu izklaidēt un informēt. Kā izteicās Vengs un līdzinieki: mēs uzskatām, ka šī metode ne tikai ļauj cilvēkiem baudīt jaunus veidus, kā baudīt fotoattēlus un mijiedarboties ar tiem, bet arī piedāvā veidu, kā no viena attēla rekonstruēt virtuālo iemiesojumu, vienlaikus sniedzot ieskatu par cilvēka mākslas stāvokli. modelēšana no viena fotoattēla.

Pat Roulinga noteikti būtu pārsteigta.

Atsauce: arxiv.org/abs/1812.02246 : Photo Wake-Up: 3D rakstzīmju animācija no viena fotoattēla

paslēpties