211service.com
Vai šī ir pirmā skaitļošanas iztēle?
Iedomājieties ozolu kviešu laukā, kura siluets ir bez mākoņu zilām debesīm sapņainā saulainā pēcpusdienā. Iespējams, ka lielākā daļa cilvēku, kas lasa šo teikumu, savā prāta acīs var viegli iedomāties bukolisku ainu. Šī spēja izlasīt ainas aprakstu un pēc tam iztēloties to vienmēr ir bijusi unikāli cilvēciska. Bet šī vērtīgā prasme, iespējams, vairs nav mūsu vieni.
Ikvienu, kurš domā, ka šāda veida iztēles ir tālu ārpus mūsdienu skaitļošanas iekārtu iespējām, būs pārsteigts par Hiroharu Kato un Tatsuya Harada darbu Tokijas Universitātē Japānā.
Šodien šie puiši atklāj mašīnu, kas var pārvērst objekta aprakstu attēlā. Citiem vārdiem sakot, viņu dators var uzburt ārēja objekta attēlu, kas citādi nav pieejams. Tā ir diezgan laba iztēles definīcija — šajā skaitļošanas daudzveidības gadījumā.
Protams, šie datoru priekšstati ir vienkārši, dažreiz mulsinoši un bieži vien muļķīgi. Taču fakts, ka tie vispār ir iespējami, ir nozīmīgs solis uz priekšu skaitļošanas radošumā.
Datorzinātnieki jau ilgu laiku ir cīnījušies ar attēliem ar tādu vieglumu un spēku, kādu viņi pārvalda ar vārdiem. Piemēram, ir vienkārši ievadīt vārdu vai vārdu secību meklētājprogrammā un atrast atbilstības, kas ir ļoti atbilstošas.
Tas nav saistīts ar kādu īpašu skaitļošanas spēju saprast vārdus. Tas rodas, vienkārši apstrādājot vārdus statistiski, piemēram, izskaitot tos no maisa. Patiešām, tādas vārdu maisīšanas tehnikas kā šī ir kļuvušas ļoti spēcīgas. Turpretim attēliem nav līdzvērtīgas iespējas.
Tāpēc pirms dažiem gadiem datorzinātnieki sāka izturēties pret attēliem tādā pašā veidā. Viņi sāka, domājot par attēlu kā pikseļu sēriju, ko viņi sadala īsās secībās, kas atbilst noteiktai attēla daļai. Piemēram, īsa secība var atbilst tases malai vai ādas laukumam vai debess daļai utt.
Šīs īsās secības cilvēkiem maz nozīmē, bet datoram tās var uzskatīt par vārdiem. Tādējādi dators varētu analizēt attēlu, saskaitot secību skaitu un to sastopamības biežumu, tāpat kā tas varētu apstrādāt dokumentu, skaitot vārdu parādīšanās biežumu. Debesu attēlā būtu daudz secību, kas atbilst debess daļām. Un tējas tases attēlam būtu daudz secību, kas atbilst tases malai un tā tālāk.
Tas uzreiz ļauj salīdzināt attēlus. Dators var meklēt šādā veidā analizētu attēlu datu bāzē, meklējot līdzīgus secību modeļus citos attēlos. Ideja ir tāda, ka diviem attēliem ar līdzīgu secību sadalījumu vajadzētu izskatīties līdzīgi, un pētniekiem patiešām ir bijuši zināmi panākumi, izmantojot šo sakritību atrašanas paņēmienu.
Pēc analoģijas ar tekstu datorzinātnieki šīs secības sauc par vizuāliem vārdiem. Un šī jaunā pieeja attēlu analīzei ir pazīstama kā vizuālo vārdu maisa tehnika. Tā analizē attēlu, saskaitot tajā ietverto vizuālo vārdu statistisko sadalījumu.
Kato un Harada uzrunātais jautājums ir pretējs tam. Ņemot vērā vizuālo vārdu sadalījumu, kāds bija sākotnējais attēls? Tā ir daudz grūtāka problēma, jo, lai gan vizuālais vārds apraksta attēla daļu, tas nepaskaidro, no kurienes attēlā tas nācis vai kādiem citiem vizuāliem vārdiem tas bija tuvu.
Viņi saka, ka šī problēma ir līdzīga mozaīkas risināšanai. Vizuālie vārdi ir gabali, un problēma ir izlemt, kā tos visus savienot, lai izveidotu attēlu.
Kato un Harada šo problēmu risina divos dažādos veidos. Pirmais ir novērtēt, kā atsevišķi vizuālie vārdi vienmērīgi sader kopā ar citiem vizuālajiem vārdiem. Piemēram, visus vizuālos vārdus, kas raksturo krūzes malu, var savienot kopā, lai parādītu nepārtrauktu malu.
Tas nav vienkārši, jo vizuāliem vārdiem nav redzamas formas un tāpēc tie nesaskan kopā kā finierzāģa gabali. Tā vietā Kato un Harada mēra attiecību starp vizuālajiem vārdiem lielā attēlu datu bāzē, saskaitot visus pārus, kas atrodas blakus. Tas rada iespējamību, ka vizuālo vārdu pārim jāatrodas blakus
Otrā metode ir novērtēt iespējamību, ka konkrētajam vizuālajam vārdam vajadzētu parādīties noteiktā attēla daļā. Piemēram, vizuāls vārds, kas parāda debesu apgabalu, visticamāk, atrodas attēla augšdaļā.
Tā kā paši vizuālie vārdi nesatur šo informāciju, Kato un Harada to atkal mēra lielā attēlu datubāzē. Tiek pieņemts, ka katram vizuālajam vārdam ir priekšroka absolūtajai pozīcijai, kurā tas atrodas, viņi saka. Šī izvēle ir izmērītā vērtība, kas ņemta no visas datu bāzes.
Protams, šie aprēķini ir skaitļošanas ziņā dārgi, atkarībā no datu bāzes lieluma un vizuālo vārdu lieluma.
Tomēr Kato un Harada ar savu pieeju ir demonstrējuši ievērojamus panākumus. Viņi izveido datu bāzi, kurā ir 101 attēls, kurā katrs parāda dažāda veida objektus. Viņi maina katra attēla izmēru līdz 128 x 128 pikseļiem un pieņēma, ka katrs attēls sastāv no vizuāliem vārdiem, kuru izmērs ir 13 x 13 pikseļi un ka trīs ceturtdaļas no katra vizuālā vārda pārklājas ar nākamo vizuālo vārdu.
Pēc datu bāzes izveidošanas, kas parāda vizuālo vārdu statistisko sadalījumu, viņi izmanto šo informāciju, lai mēģinātu rekonstruēt attēlu, izmantojot tikai vizuālos vārdus, kas tajā parādās.
Rezultāti kopumā ir iespaidīgi. Lai gan daži no ģenerētajiem attēliem ir nejēdzīgi, citi veiksmīgi atjauno plašu attēlu klāstu, piemēram, lietussargu, uzgriežņu atslēgu, mucu, zivi un pat seju (skatiet attēlus un to rekonstrukcijas iepriekš).
Tas ir iespaidīgi, un tas rada vairākas interesantas lietojumprogrammas. Kato un Harada to izmanto, piemēram, lai pārveidotu vienu attēlu citā. Viņi ņem vizuālo vārdu maisiņu, kas attēlo divus attēlus, un pēc tam ģenerē vizuālo vārdu starpposmus, lai izveidotu starpposma attēlus morfēšanas secībā.
Interesantāks ir viņu darbs pie datorredzes. Datorzinātnieki nesen ir izstrādājuši jaudīgus automatizētus objektu atpazīšanas algoritmus, kas identificē konkrētus objektus.
Šie algoritmi ir pazīstami kā klasifikatori. Tie strādā ar augstu precizitāti, taču dažreiz tos var apmānīt objekti, kurus cilvēka acij šķiet viegli identificēt. Tāpēc ne vienmēr ir skaidrs, ko viņi meklē.
Kato un Harada darbs to maina. Viņi ir izmantojuši savu vizuālo vārdu pieeju, lai vizualizētu šos objektu klasifikatorus. Viņi saka, ka tas atklāj atšķirības starp cilvēka un datora redzi.
Viņi to dara, izmantojot klasifikatorus, lai izpētītu 10 000 nejauši izvēlētu attēlu un vienkārši saskaitītu vizuālos vārdus, kas visbiežāk iedarbina katru klasifikatoru. Pēc tam viņi apkopo šos vizuālos vārdus attēlā, izmantojot savu vizuālo vārdu maisiņu tehniku.
Un rezultāti ir aizraujoši. Daži no vizualizētajiem klasifikatoriem ir ļoti līdzīgi pašiem objektiem, vismaz attiecībā uz cilvēka atpazīšanu. Citi ir dīvaini deformēti, piemēram, modernās mākslas darbi. Un citi parāda, cik svarīgi var būt papildu elementi, piemēram, cik svarīgs ir horizonts koku identificēšanai.
Visbeidzot, Kato un Harada izmanto savu pieeju, lai ģenerētu attēlus no parastiem teikumiem. Viņi to dara, katru teikuma vārdu pārvēršot vizuālu vārdu maisā un pēc tam pārvēršot to attēlā.
Parastu vārdu pārvēršana vizuālo vārdu maisā ir grūts uzdevums. Pētnieki to dara, meklējot attēlu datu kopā ar parakstiem. Katru reizi, kad parakstā parādās vārds, viņi pievieno attēla vizuālos vārdus somai. Tādējādi tiek izveidots liels vizuālo vārdu maiss, no kura iespējams ģenerēt attēlu.
Rezultāti ir aizraujoši. Vairāki teikumi tiek tulkoti pilnīgi muļķīgos attēlos, atzīst Kato un Harada. Iespējams, tas ir tāpēc, ka metode vārda pārvēršanai vizuālo vārdu maisā ir pārāk vienkārša. Bet citi teikumi rada sapņainus attēlus, kas ir brīvi saistīti ar sākotnējo ideju (skatiet attēlus zemāk).
Kato un Harada saka, ka šis ir daudzsološs sākums un paver ceļu uz jaunas paaudzes attēlu radīšanas sistēmām.
Tas ir patiesi aizraujošs darbs, kas ir nozīmīgs solis uz priekšu skaitļošanas jaunradē. Lūdziet Google definēt iztēli, un tas saka: spēja vai darbība veidot jaunas idejas vai attēlus vai koncepcijas par ārējiem objektiem, kas nav uztverami jutekļiem . Tāpēc nekādā gadījumā nevar teikt, ka Kato un Harada ir radījuši pasaulē pirmo skaitļošanas iztēli.
Atsauce: http://arxiv.org/abs/1505.05190 : attēla rekonstrukcija no vizuālo vārdu maisa