Viena pikseļa kamera sasniedz pagrieziena punktu, atdarinot cilvēka redzi

Skaitļošanas attēlveidošana piedzīvo revolūciju. Šī ir disciplīna attēlu veidošanai, izmantojot skaitļošanas metodes, nevis optiskas. Tās vislabāk zināmais atklājums ir spēja ierakstīt augstas izšķirtspējas attēlus un filmas, izmantojot vienu pikseļu. Taču pētnieki to ir izmantojuši arī, lai izveidotu kameras bez objektīviem, 3D attēlveidošanas sistēmas un daudz ko citu.

Mūsdienās viņi šo tehniku ​​izmanto vēl tālāk, izmantojot to, lai atdarinātu veidu, kā cilvēki redz pasauli. Deivids Filipss no Glāzgovas universitātes un daži draugi saka, ka ir atraduši veidu, kā izmantot vienu pikseļu, lai izveidotu attēlus, kuros centrālais apgabals tiek ierakstīts augstā izšķirtspējā, bet perifērija tiek ierakstīta zemā izšķirtspējā. Tas precīzi atdarina dzīvnieku redzes sistēmas, kurās tīklenē ir augsta redzes asuma centrālais reģions, ko sauc par fovea, ko ieskauj zemākas izšķirtspējas zona.

Komanda pat ir parādījusi, kā pārvietot foveated reģionu, lai sekotu objektiem redzes laukā. Šī tehnika var mainīt veidu, kā daudzas attēlveidošanas sistēmas darbojas nākotnē.

Vispirms nedaudz fona. Viena pikseļa attēlveidošanas sistēma ieraksta gaismu no ainas vienā punktā. Šai gaismai ir jābūt kaut kādā veidā nejauši izvēlētai, piemēram, izlaižot to caur matētu stiklu vai atstarojot to no nejauši izkārtota mikrospoguļa bloka.

Ir viegli domāt, ka, ierakstot gaismu šādā nejaušā veidā, var iegūt maz. Protams, triks ir šādā veidā uzņemt daudz viena pikseļa attēlu. Lai gan šķiet, ka katrs datu punkts ir nejaušs gaismas paraugs, secīgie datu punkti ir savstarpēji saistīti, jo tie ir atspulgi no vienas un tās pašas ainas.

Tātad skaitļošanas attēlveidošanas viltība ir izmantot datu ieguves algoritmu, lai atrastu korelāciju starp secīgiem attēliem. Neliela skaitļu kraukšana var atjaunot sākotnējo ainu.

Izrādās, ka tas ir salīdzinoši vienkārši, ja gaisma no ainas tiek pareizi nejaušināta katru reizi, kad pikselis to ieraksta. Galīgā attēla izšķirtspēja ir atkarīga no tā izveidošanai izmantoto datu punktu skaita.

Citiem vārdiem sakot, katru datu punktu var uzskatīt par pikseļa ierakstīšanu galīgajā attēlā. Tieši šī ideja ļauj Phillips un co mainīt izšķirtspēju visā attēlā.

Šie puiši izmanto digitālo mikrospoguļu masīvu, lai nejauši izvēlētos gaismu no ainas, kas sasniedz viņu viena pikseļa gaismas detektoru. Bet viņi arī spēj kontrolēt nejaušības izšķirtspēju šajā masīvā. Tāpēc viņi var izmantot augstas izšķirtspējas nejaušību atsevišķās ainas daļās, lai palielinātu galīgā attēla izšķirtspēju. Šis ir foveated attēls

Viņu mikrospoguļu masīvs var parādīt aptuveni 10 000 nejauši izvēlētu modeļu sekundē, kas ļauj tiem ģenerēt 32 x 32 pikseļu attēlus ar ātrumu aptuveni 10 sekundē.

Vispirms pikseļi ir kvadrātveida un vienāda izmēra katrā 32 x 32 attēlā. Bet izliekta attēla centrā ir mazāki, blīvāk iesaiņoti pikseļi un lielāki pikseļi perifērijā.

Phillips un kolēģi to panāk, nejauši atlasot ainas gaismu ar augstāku izšķirtspēju attēla centrā.

Un rezultāti ir iespaidīgi. Komanda parāda, kā iegūtajiem attēliem centrā ir augstāka izšķirtspēja. Viņi saka, ka mēs esam pierādījuši, ka viena pikseļa skaitļošanas attēlveidošanas sistēmas datu vākšanas spēju var uzlabot, atdarinot adaptīvo foveated redzējumu, kas ir plaši izplatīts dzīvnieku valstībā.

Bet tie arī parāda, kā ir iespējams pārvietot fovea, lai izsekotu interesējošos objektus no viena attēla uz nākamo. Tie pat parāda, kā vienā attēlā var būt divas fovea, lai izsekotu diviem dažādiem objektiem, tādējādi padarot tehniku ​​ārpus dzīvnieku pasaules iespējām. Un viņi demonstrē tehniku ​​gan ar redzamo, gan infrasarkano gaismu.

Tas ir interesants darbs, kam ir daži svarīgi potenciālie pielietojumi. Visredzamākais ir attēlveidošanas sistēmām, kurās pikseļu masīvi nav praktiski. Piemēram, atsevišķi pikseļi ir pieejami terahercu frekvencēm, bet pikseļu masīvi nav pieejami.

Bet tehnika ir vispārīgāk piemērojama. Visās attēlveidošanas sistēmās pastāv kompromiss starp izšķirtspēju un kadru ātrumu. Šis paņēmiens ļauj optimizēt šo kompromisu lidojuma laikā un ļauj koncentrēties uz attēla daļām, kas rada vislielāko interesi.

To varētu padarīt daudz jaudīgāku, apvienojot to ar citiem mašīnredzes paņēmieniem, algoritmi ir sākuši pārspēt cilvēkus tādos uzdevumos kā sejas un objektu atpazīšana.

Cilvēki un dzīvnieki redzes uzdevumos jau sen ir pārspējuši mašīnas. Bet ar šādām metodēm šī meistarība nenotiks daudz ilgāk.

Atsauce: arxiv.org/abs/1607.08236 : Adaptīva Foveated viena pikseļa attēlveidošana ar dinamisku superiztveršanu

paslēpties