Algoritms klonē van Goga māksliniecisko stilu un ielīmē to citos attēlos, filmās

Mākslas stila būtība lielākajai daļai cilvēku ir noslēpums. Padomājiet par Vincentu Van Gogu Zvaigžņotā nakts , Pikaso darbs par kubismu vai Edvarda Munka darbs Kliedziens . Visiem ir spēcīgs, unikāls stils, ko cilvēki viegli atpazīst.

Bet kā ar mašīnām? Dziļie neironu tīkli maina veidu, kā mašīnas atpazīst un interpretē pasauli. Mašīnredze tagad regulāri pārspēj cilvēkus tādos uzdevumos kā objektu un sejas atpazīšana, kas vēl pirms dažiem gadiem nebija iedomājams.

Nesen šīs ierīces ir spērušas pirmos provizoriskos soļus, lai atpazītu māksliniecisko stilu un pat to atveidotu. Nav skaidrs, cik tālu šāds darbs var iet. Piemēram, vai ir iespējams kopēt un ielīmēt māksliniecisko stilu no viena attēla uz visu video, neradot artefaktus, kas sabojā vizuālo pieredzi?

Šodien Manuels Ruders un draugi Freiburgas Universitātē Vācijā parāda, ka tieši tas ir iespējams. Šie puiši ņem slavenus mākslas darbus, piemēram, Zvaigžņotā nakts un Kliedziens un pārnest savu stilu uz virkni video secību, kas ņemtas no filmām, piemēram, Ledus laikmets un TV programmas, piemēram, Mis Mārpla. Rezultāts ir iespaidīgs video pārveidojums un iespēja to darīt gandrīz jebkurā iedomājamā stilā.

Dziļie neironu tīkli sastāv no daudziem slāņiem, no kuriem katrs iegūst informāciju no attēla, pēc tam nodod atlikušos datus nākamajam slānim. Pirmie slāņi iegūst plašus modeļus, piemēram, krāsu, un dziļākie slāņi iegūst pakāpeniski vairāk detaļu, kas ļauj atpazīt objektu.

Svarīga ir dziļāko slāņu iegūtā informācija. Tas būtībā ir attēla saturs, atskaitot kontekstuālo informāciju, piemēram, krāsu, tekstūru un tā tālāk. Savā ziņā tas ir līnijas zīmējuma ekvivalents datorā.

Pagājušajā gadā Leons Gatiss Tūbingenes Universitātē un daži draugi sāka šādā veidā studēt māksliniecisko stilu. Viņi atklāja, ka ir iespējams tvert māksliniecisko stilu, aplūkojot nevis informāciju katrā slānī, bet gan korelācijas starp slāņiem. Tātad veids, kā mākslinieks atveido seju, ir saistīts ar veidu, kā viņš vai viņa atveido koku, māju vai sauli. Šīs korelācijas tveršana atspoguļo arī stilu.

Taču viņu galvenais atklājums bija tāds, ka attēla saturu var pilnībā nošķirt no mākslinieciskā stila. Turklāt viņi atklāja, ka var izmantot šo māksliniecisko stilu un kopēt un ielīmēt to jebkura cita attēla saturā.

Pēkšņi kļūst iespējams iemūžināt Kandinska abstrakto stilu un ielīmēt to sava kaķa attēlā. Tas ir ļoti jautri. Bet tas arī radīja jautājumu par to, cik tālāk šo paņēmienu var veikt.

Acīmredzamais nākamais solis ir mākslinieciskā stila ielīmēšana uz secīgiem attēliem, lai izveidotu videoklipu. Bet tas uzreiz rada problēmas. Nelielas atšķirības starp secīgiem kadriem var radīt lielas atšķirības jaunā mākslinieciskā stila pielietojumā. Un tādēļ videoklips šķiet lecīgs un vizuāli nesakarīgs. Īpaša problēma ir objektu malas, kad tie pārvietojas vai kļūst aizsprostoti.

Tagad Ruder un co ir atrisinājuši šo problēmu. Viņi saka, ka, ņemot vērā māksliniecisko tēlu, mēs pārnesam tā īpašo glezniecības stilu uz visu videoklipu.

Viņu pieeja ir izmantot algoritmu, kas analizē novirzes starp secīgiem apstrādātiem kadriem un novērš lielas atšķirības, taču to darīt, ignorējot ainas apgabalus, kas parādās pēc aizsegšanas. Viņi saka, ka tas ļauj procesam atjaunot aizsegtus reģionus un izkropļotas kustības robežas, vienlaikus saglabājot pārējā attēla izskatu.

Rezultāti ir iespaidīgi. Komanda izmanto savu algoritmu, lai iegūtu vairāku dažādu Kandinska, Pikaso, Matisa, Tērnera un, protams, Munka un Van Goga mākslas darbu māksliniecisko stilu.

Viņi apstrādāja katru nekustīgu secību ar izšķirtspēju 1024 x 436 Nvidia Titan X GPU ar paralēlu apstrādi CPU tajā pašā laikā. Šis process sākas aptuveni astoņas minūtes vienā kadrā. Bet pēc optimizācijas tas samazinās līdz vidēji apmēram trim minūtēm katrā kadrā. Tātad viss process ir skaitļošanas ietilpīgs.

Labākais veids, kā novērtēt rezultātu, ir skatīties video , iespaidīga virkņu kolekcija no plaša filmu, datoranimāciju un TV programmu klāsta.

Protams, joprojām ir iespējami uzlabojumi. Algoritms cīnās ar ļoti straujām vai lielām kustībām starp kadriem, un vajadzētu būt iespējai vēl vairāk optimizēt procesu, lai samazinātu aprēķina laiku. Bet neviena no šīm problēmām neizskatās pēc šoviem.

Darbs izvirza interesantu jautājumu par to, cik tālāk šo tehniku ​​var veikt. Piemēram, ir viegli iedomāties programmas, kas to varētu paveikt mākonī, kad filmējat savā viedtālrunī. Bet vai būtu iespējams arī ielīmēt stilu Kliedziens trīs dimensijās un tālāk par virtuālo realitāti? Ir grūti izdomāt iemeslus, kāpēc ne.

Tas viss vēsta par pilnīgi jaunu pieeju filmu veidošanai, bet arī mākslai. Kad mākslinieciskais stils kļūst par preci, ko var izgriezt un pielīmēt no viena attēla uz otru, ko tas nozīmē mākslinieku darbam? Nav grūti iedomāties, kā šos stilus varētu rediģēt vai pat apvienot, lai iegūtu hibrīdus.

Vai kādam patīk Rubenss-Pikaso, Vorhols-Monē vai Bērtons-Bergmens?

Atsauce: arxiv.org/abs/1604.08610 : mākslinieciskā stila pārsūtīšana videoklipiem

paslēpties