Mašīnredzes algoritms iemācās pārveidot ar roku zīmētas skices fotoreālistiskajos attēlos

Precīzas personas sejas skices uzzīmēšana ir māksla, ko vairumam cilvēku ir grūti apgūt. Bet datoriem tas izrādās salīdzinoši vienkārši. Ir dažādas programmas attēlu pārvēršanai līniju zīmējumos. Tas bieži nodrošina pienācīgu sākumu, lai gan šīm sistēmām var būt grūtības ar ēnām un augstu kontrastu.

Daudzsološāka pieeja ir izmantot mašīnredzes algoritmus, kas paļaujas uz neironu tīkliem, lai no attēla iegūtu līdzekļus un izmantotu tos, lai izveidotu skici. Šajā jomā mašīnas ir sākušas konkurēt un pat pārspēj cilvēkus, veidojot precīzas skices.

Bet kā ar apgriezto problēmu? Tas sākas ar skici, un tā mērķis ir izveidot precīzu oriģinālās sejas krāsu fotoattēlu. Tas noteikti ir daudz grūtāks uzdevums, tik ļoti, ka cilvēki reti pat mēģina.

Tagad mašīnas ir atrisinājušas šo problēmu. Mūsdienās Yagmur Gucluturk, Umut Guclu un draugi no Radboudas universitātes Nīderlandē ir iemācījuši neironu tīklu, lai ar roku zīmētas seju skices pārvērstu fotoreālistiskos portretos. Šis darbs ir vēl viens pierādījums tam, kā viedās mašīnas un jo īpaši neironu tīkli sāk pārspēt cilvēkus, veicot arvien plašākus uzdevumus.

Radboud komanda sāk ar datu kopu, kurā ir 200 000 seju attēlu, kas ņemti no interneta. Viņi tos pārveidoja līniju zīmējumos, pelēktoņu skicēs un krāsu skicēs, izmantojot standarta attēlu apstrādes algoritmus. Tādējādi tika izveidota būtiska apmācības datu kopa, lai mācītu dziļu konvolucionālu neironu tīklu ar 11 slāņiem veikt uzdevumu apgrieztā veidā: pārvērst skici par fotoreālistisku sejas krāsu fotogrāfiju.

Pēc tīkla apmācības komanda to veica, izmantojot citu datu kopu. Neironu tīkla uzdevums bija sākt ar skici un izveidot fotoreālistisku attēlu.

Rezultāti ir iespaidīgi, it īpaši, ja neironu tīkls sākās ar līniju zīmējumiem. Mēs noskaidrojām, ka līnijas modelis bija iespaidīgs attiecībā uz indivīdu matu un ādas krāsas saskaņošanu pat tad, ja līniju skicēs nebija informācijas par krāsu, saka komanda.

Iemesls šķiet skaidrs. Tas var norādīt, ka līdztekus skiču spilgtuma atšķirību izmantošanai, lai secinātu par krāsojumu, modelis varēja uzzināt krāsu īpašības, kas bieži saistītas ar dažādu etnisko piederību augsta līmeņa sejas iezīmēm.

Pēc tam komanda pārbaudīja neironu tīklu uz pilnīgi atšķirīgu datu kopu, izmantojot ar roku zīmētas skices, kuras acīmredzami tika ģenerētas pilnīgi atšķirīgā veidā nekā tie, uz kuriem tīkls tika apmācīts. Viņi saka, ka atkal modele sintezēja fotoreālistiskus sejas attēlus.

Tīkls, protams, nebija ideāls. Īpaši problēmas sagādāja tas, ka ar roku zīmētās skicēs zīmuļa triepienus nepavadīja ēnojums. Tas radīja mazāk reālus rezultātus. Tas skaidrojams ar šādu pazīmju trūkumu līniju skiču modeļa apmācības datos, norāda viņi, piebilstot, ka šo trūkumu var viegli novērst, mācību komplektā iekļaujot piemērus, kas vairāk līdzinās skiču mākslinieku zīmēšanas stilam. saka Radboud pētnieki.

Visbeidzot, komanda ļāva savam neironu tīklam parādīties, izveidojot tādu mākslinieku kā Rembranta un Van Goga fotoreālistiskus attēlus no abu mākslinieku uzskicētiem pašportretiem.

Tas ir iespaidīgs darbs, kas parāda, cik dziļi neironu tīkli redzes uzdevumos strauji sāk pārspēt cilvēkus. Acīmredzams tūlītējs pielietojums ir kriminālistikā, kur policijas māksliniekiem ir jākonstruē precīzi aizdomās turamo attēli.

Un tas ir tikai viens no veidiem, kā šīs mašīnas parāda savu pārākumu. Mašīnredzes algoritmi var arī veikt tādus uzdevumus kā kopēt un ielīmēt māksliniecisko stilu no viena attēla uz citu, precīzi pievienot krāsu pelēktoņu attēliem un pārveidot zemas izšķirtspējas attēlus augstas izšķirtspējas attēlos.

Tas viss ir noticis tikai pāris gadu attīstības laikā, un dziļajiem neironu tīkliem ir daudz tālāk. Ir grūti paredzēt, uz ko viņi būs spējīgi, piemēram, tikai pēc gada.

Atsauce: arxiv.org/abs/1606.03073 : Convolutional Sketch Inversion

paslēpties