Mašīnvīzijas algoritms pārspēj mākslas vēsturniekus viņu pašu spēlē

Dažas akadēmiskās izpētes jomas ir izvairījušās no datorzinātņu un mašīnmācīšanās ietekmes. Bet viena no tām ir mākslas vēsture. Izaicinājums analizēt gleznas, atpazīt to māksliniekus un noteikt to stilu un saturu vienmēr ir bijis ārpus pat vismodernākajiem algoritmiem.

Tas tagad mainās, pateicoties nesenajiem sasniegumiem mašīnmācībā, kuras pamatā ir tādas pieejas kā dziļi konvolucionāli neironu tīkli. Tikai dažu gadu laikā datorzinātnieki ir radījuši iekārtas, kas spēj saskaņot un dažreiz pārspēj cilvēkus visu veidu modeļu atpazīšanas uzdevumos.

Šodien mēs redzam, cik progresīvas šīs pieejas ir kļuvušas Babak Saleh un Ahmed Elgammal rokās Rutgers universitātē Ņūdžersijā. Šie puiši ir izmantojuši šīs jaunās mašīnmācīšanās metodes, lai apmācītu algoritmus atpazīt tēlotājmākslas gleznas mākslinieku un stilu ar tādu precizitāti, kāda vēl nekad nav sasniegta.

Turklāt rezultāti atklāj saikni starp māksliniekiem un veseliem glezniecības stiliem, ko mākslas vēsturnieki ir strādājuši gadiem ilgi, lai saprastu.

Salehs un Elgammal sāk ar datu bāzi, kurā ir vairāk nekā 80 000 gleznu, ko veidojuši vairāk nekā 1000 mākslinieku, kas aptver 15 gadsimtus. Šīs gleznas aptver 27 dažādus stilus, katrā ir vairāk nekā 1500 piemēru. Pētnieki darbus klasificē arī pēc žanra, piemēram, interjers, pilsētas ainava, ainava utt.

Pēc tam viņi ņem attēlu apakškopu un izmanto tos, lai apmācītu dažādus vismodernākos mašīnmācības algoritmus, lai izvēlētos noteiktas funkcijas. Tie ietver vispārīgas, zema līmeņa funkcijas, piemēram, kopējo krāsu, kā arī papildu funkcijas, kas apraksta attēlā redzamos objektus, piemēram, zirgu un krustu. Gala rezultāts ir vektoram līdzīgs katras gleznas apraksts, kas satur 400 dažādus izmērus.

Pēc tam pētnieki pārbauda algoritmu gleznu komplektā, ko tas vēl nav redzējis. Un rezultāti ir iespaidīgi. Viņu jaunā pieeja var precīzi identificēt mākslinieku vairāk nekā 60 procentos gleznu un noteikt stilu 45 procentos no tām.

Taču ļoti svarīgi ir tas, ka mašīnmācības pieeja sniedz ieskatu tēlotājmākslas būtībā, ko citādi ir grūti attīstīt pat cilvēkiem. Tas iegūts, analizējot gleznas, kuras algoritmam ir grūti klasificēt.

Piemēram, Salehs un Elgammal saka, ka viņu jaunajai pieejai ir grūti atšķirt Kamila Pisarro un Kloda Monē gleznotos darbus. Taču, veicot nelielu izpēti par šiem māksliniekiem, ātri atklājas, ka abi darbojās Francijā 19. gadsimta beigās un 20. gadsimta sākumā un abi apmeklēja Académie Suisse Parīzē. Eksperts varētu arī zināt, ka Pisarro un Monē bija labi draugi un dalījās daudzās pieredzēs, kas sniedza informāciju par viņu mākslu. Tāpēc fakts, ka viņu darbs ir līdzīgs, nav pārsteigums.

Kā vēl viens piemērs, jaunā pieeja jauc Kloda Monē un amerikāņu impresionista Čailda Hasama darbus, kuru, izrādās, spēcīgi ietekmējuši franču impresionisti un jo īpaši Monē. Šīs ir saites, kuru atklāšanai cilvēkam var būt vajadzīgs zināms laiks.

Algoritmiskā pieeja atrod arī saiknes starp noteiktiem mākslas stiliem. Piemēram, tas bieži jauc abstraktā ekspresionisma piemērus un darbības gleznas, kurās mākslinieki pil vai mētā krāsu un uzkāpj uz audekla. Salehs un Elgammal atkal saka, ka šāda veida sajaukšana būtu pilnīgi saprotama cilvēka skatītājam. “Action glezniecība” ir abstraktā ekspresionisma veids vai apakšžanrs,” viņi norāda.

Algoritms izceļ daudzas citas līdzības. Tas saista ekspresionismu un fovismu, ko varētu sagaidīt, ņemot vērā, ka pēdējo kustību bieži uzskata par ekspresionisma veidu. Tas saista manierisma un renesanses stilu, kas skaidri atspoguļo faktu, ka manierisms ir agrīnās renesanses glezniecības veids.

Un tajā atrodamas citas tiešākas saites, piemēram, starp renesanses un agrīnās renesanses glezniecību, starp impresionismu un postimpresionismu un starp kubismu un tā vēlāko izpausmi, sintētisko kubismu.

Šīs sakarības ir labi zināmas mākslas vēsturniekiem, taču tikai daudzu gadu desmitu vai pat gadsimtu ilgas zinātnes dēļ. Turpretim mašīnmācības pieeja aptver tikai dažus mēnešus.

Tam ir nozīmīga ietekme uz mākslas vēstures izpēti. Viens no jauno algoritmu pielietojumiem ir izvēlēties gleznas ar līdzīgām īpašībām (skatiet attēlus). Tas ir jauns un spēcīgs instruments vēsturniekiem, lai meklētu ietekmi starp māksliniekiem, kas, iespējams, nekad nav zinājuši.

Tas arī ļauj izmantot jaunu mākslas izpētes veidu, pārejot no viena attēla uz citu līdzīgu procesu, kas vizuāli ir līdzvērtīgs sinonīmu atrašanai.

Aizraujošas lietas!

Atsauce: arxiv.org/abs/1505.00855 : Tēlotājmākslas gleznu liela mēroga klasifikācija: pareizas metrikas apgūšana par pareizo objektu

paslēpties