Algoritmi var pārvērst jebkuru ainu komiksā

Komiksi veido nekustīgu attēlu sēriju, kas kopā stāsta stāstu. Attēli bieži ir ļoti stilizēti, un grafiķi apbrīno viņu prasmes.

Taču šāda veida mākslinieciskumu ir grūti iemācīties un grūti pilnveidot, tāpēc to izgatavošana ir laikietilpīga un dārga. Tāpēc māksliniekiem, izdevējiem un lasītājiem ļoti patiktu automatizēts veids, kā panākt, lai attēls atdarinātu vēlamo komiksu stilu.

Izrādās, ka šāds algoritms jau pastāv. Jau 2015. gadā pētnieku grupa Vācijā atklāja veidu, kā pārnest viena attēla māksliniecisko stilu uz citu. Kopš tā laika citi ir nepārtraukti uzlabojuši šo pieeju, lai padarītu to ātrāku un precīzāku.

No kreisās puses uz labo: sākotnējais grafiskais attēls, mērķa attēls un iegūtais stilizēts attēls

Tomēr darbs līdz šim ir vērsts uz tādu tēlotāju mākslinieku kā Pikaso un Van Goga stila pārnešanu uz citiem attēliem vai parasto attēlu pārveidošanu tādā veidā, kā nakts pārvēršana dienā. Cik labi šie algoritmi darbojas ar bieži vairāk stilizētiem attēliem, ko veido komiksu mākslinieki?

Šodien mēs saņemam atbildi, pateicoties Maciej Pęśko un Tomasa Trzciński darbam Varšavas Tehnoloģiju universitātē Polijā. Šie puiši ir pielietojuši dažāda veida attēlu stilu pārsūtīšanu komiksu grafikā un salīdzinājuši rezultātus.

Vispirms nedaudz fona. Šī pieeja aizsākās ar Leona Gatisa darbu Tūbingenes Universitātē un dažiem draugiem, kuri pētīja veidu, kā dziļie neironu tīkli ierakstīja un analizēja māksliniecisko stilu. Šie tīkli sastāv no slāņiem, kas katrs analizē attēlu atšķirīgā līmenī, piemēram, formas, krāsas un līnijas.

Galvenais Gatisa un līdzcilvēku darba ieskats ir tāds, ka mākslinieciskais stils nav fiksēts pašos slāņos, bet gan korelācijās starp tiem. Tas uzreiz ļauj nošķirt mākslinieka stilu no mākslas satura un pat pārnest to no viena attēla uz citu.

Un tas ir tieši tas, ko Gatys un citi darīja, izraisot plašu izbrīnu no datoru redzes kopienas. Šis darbs ir kļuvis par pamatu jaunai datorredzes apakšdisciplīnai, kas pazīstama kā neironu stila pārnešana.

Viena no jaunās pieejas problēmām ir skaitļošanas ietilpība. Lai analizētu attēlu, noņemtu tā stilu un piemērotu šo stilu citai ainai, nepieciešams ievērojams laiks — vairākas sekundes 512x512 attēliem mūsdienu galddatoros.

Tāpēc datorzinātnieki sāka meklēt dažādas pieejas, kas varētu ātrāk paveikt uzdevumu. Un patiešām viņi nāca klajā ar dažādiem algoritmiem, kas veic līdzīgu darbu. Tomēr ir kompromiss starp ātrumu un kvalitāti.

Ievadiet Pęśko un Trzciński. Šie puiši ir pārbaudījuši plašu neironu stila pārsūtīšanas algoritmu klāstu konkrētajam uzdevumam pārsūtīt ar komiksiem saistītos grafiskos stilus. Šis ir pirmais mēģinājums novērtēt un salīdzināt ar vairākām metodēm iegūtos rezultātus komiskā stila pārneses kontekstā, viņi saka.

Viņi īpaši koncentrējas uz ātrākajiem paņēmieniem, kas var strādāt pie jebkura grafiskā attēla. Mēs galvenokārt koncentrējamies uz metodēm, kuru izpildes laiks vienam attēlam nepārsniedz 2 sekundes, viņi saka.

Tādā veidā viņi pārbaudīja piecus dažādus algoritmus 600x450 pikseļu attēliem, kas apstrādāti, izmantojot 12 gigabaitu Titan X grafikas apstrādes bloku. Viņi atlasīja attēlus, kas pārstāv dažādus komiksu stilus, un pārsūtīja tos uz attēliem, kas nejauši izvēlēti no Google attēlu meklēšanas.

Visbeidzot, viņi parādīja rezultātus 100 cilvēkiem, lai novērtētu, cik labi algoritmi panāca stila pārsūtīšanu.

Rezultāti parāda jaunāko līmeni šajā jomā. Par labāko atzītais algoritms ir paņēmiens, kas pazīstams kā adaptīvā instanču normalizācija, kas izstrādāta 2017. gadā, par to saņemot aptuveni 30 procentus balsu. Tas apstiprina mūsu pieņēmumus, ka šī metode dod rezultātus, kas stilistiskās līdzības ziņā ir vistuvāk multfilmām vai komiksiem, saka Pęsko un Trzciński.

Tomēr rezultāti nekādā gadījumā nav ideāli. Visas metodes zināmā mērā cieš no tādām problēmām kā neatbilstoša krāsu pārnešana un izplūšana. Mēs uzskatām, ka vēl ir vietas uzlabojumiem, saka pētnieki.

Tā ir iespēja. Komiksu tirgus ASV vien ir 1 miljards dolāru gadā. Un daudzās pasaules daļās, piemēram, Indijā, vēl ir jāizstrādā sava kultūra saistībā ar komiksiem. Tātad ir tirgi, kuriem ir izaugsmes potenciāls.

Spēja radīt augstas kvalitātes komiksu attēlus būtiski mainīs ikvienu, kas vēlas iekarot šos tirgus.

Tomēr ir vēl viena problēma: izaicinājums attīstīt spēcīgus varoņus un pārliecinošus sižetus. Neironu tīkli ar to nevar palīdzēt… vismaz vēl ne.

Atsauce: arxiv.org/abs/1809.01726 : Neironu komiksu stila pārsūtīšana: gadījuma izpēte

paslēpties