Kamera, kas redz kā cilvēka acs

Tīklene ir ārkārtīgi spēcīgs instruments. Tas kārto milzīgus datu apjomus, vienlaikus izmantojot tikai daļu no jaudas, kas būtu nepieciešama parastajai digitālajai kamerai un datoram, lai veiktu to pašu uzdevumu.





Dinamiskā redze: Kameras spēks ir kustību, piemēram, šeit redzamo piena pilienu, tveršanā.

Tagad inženieri uzņēmumā sauc iniLabs Šveicē izmanto bioloģijas mācības, cenšoties izveidot efektīvāku digitālo kameru, kuru iedvesmojusi cilvēka tīklene.

Tāpat kā atsevišķi neironi mūsu acīs, jaunā kamera ar nosaukumu Dynamic Vision Sensor (DVS) reaģē tikai uz izmaiņām noteiktā ainā. Šī pieeja novērš lielu lieko datu daudzumu un varētu būt noderīga daudzās jomās, tostarp novērošanā, robotikā un mikroskopijā.



Tava acs un mana acs arī ir digitālās kameras. [Tās ir] tikai cita veida digitālās kameras, saka Tobi Delbruck, iniLabs galvenais zinātniskais darbinieks. Mums bija mašīnredze, kas bija pēc iespējas labāka ar esošo arhitektūru un aparatūru. Bet, salīdzinot ar bioloģiju, mašīnu redze ir nožēlojami slikta.

Parasta kamera uzņems visu, ko redz, saglabājot vēlāk apstrādājamo informāciju. Tas patērē daudz jaudas un daudz vietas. Tomēr acs neironi iedegas tikai tad, kad tie sajūt izmaiņas, piemēram, kad konkrēta ainas daļa kļūst gaišāka vai blāvāka. DVS atdarina šo selektivitāti, pārraidot informāciju tikai, reaģējot uz ainas maiņu. Tas aizņem mazāk enerģijas un atstāj mazāk apstrādājamās informācijas.

Mākslīgā tīklene: Dinamiskās redzes sensors (DVS) reaģē tikai uz izmaiņām sižetā, novēršot lielus nebūtisku datu apjomus.



Šī funkcija varētu būt īpaši noderīga, ierakstot ainas, kas nemainās bieži. Piemēram, kad miega pētnieki video ieraksta savus subjektus, viņi vēlāk ir spiesti ķemmēt stundas bez notikumiem. Izmantojot sensoru, piemēram, DVS, svarīgas, aktīvās datu daļas tiek automātiski izceltas.

DVS pikseļi arī atdarina veidu, kā atsevišķs acs neirons kalibrēsies noteiktā vietā: šī šūna un tie, kas ir atbildīgi par citu apgabalu, reaģēs uz ienākošajiem datiem nedaudz atšķirīgi, tāpēc viens neirons var būt ļoti jutīgs pret ievadi, bet cits neirons. prasa lielāku stimulu, lai aizdedzinātu. Līdzīgi katrs DVS pikselis pielāgo savu ekspozīciju. Tas ļauj DVS izturēt nevienmērīgus apgaismojuma apstākļus, lai gan tam ir nepieciešami arī milzīgi pikseļi, kas ir 10 reizes lielāki par mūsdienu mobilā tālruņa kamerām.

DVS ir veidots tā, lai darbotos ar IBM jauno TrueNorth datoru arhitektūru (skatiet IBM pētnieku demonstrēšanas plānus prātam līdzīgai skaitļošanai). TrueNorth ir programmēšanas pieeja, kas atdarina bioloģiju — informācija tiek glabāta, apstrādāta un koplietota neiromorfu datoru mikroshēmu tīklā, ko iedvesmojuši smadzeņu neironu tīkli.



Tas, par ko mēs runājam — kamerām, kas sūta informāciju, kad kaut kas mainās —, patiesībā ir ļoti galvenā tēma smadzeņu darbības jomā vai vismaz neirozinātnieku domām. Nabils Imams , datorzinātnieks Kornela Universitātē, kurš ir daļa no Kornela komandas, kas palīdzēja IBM izstrādāt savas neiromorfās mikroshēmas. Mēs tveram smadzeņu funkcijas augstā līmenī.

Apvienojot savu kameru ar TrueNorth arhitektūru, Delbruck un viņa komanda uzskata, ka viņi iegūs ierīci, kas labāk risina dinamiskas, reāllaika problēmas.

DVS ir pieejams iegādei par aptuveni 2700 USD, un tas ir izmantots vairākos pētniecības projektos, tostarp vienā, kurā tika reģistrēta satiksme, un citā, kas ietvēra daļiņu izsekošanu šķidrumā. Komanda plāno turpināt ierīces uzlabošanu. Nākamie mērķi ir pievienot krāsu jutību un palielināt kameras tīkleni no tās pašreizējās izšķirtspējas 240x180.

paslēpties