Parasta viedtālruņa kameras pārvēršana par 3D kameru

Gandrīz visi mūsdienās nēsā kameru, jo viņiem ir mobilais tālrunis, taču tikai dažas no šīm ierīcēm tver objektu trīsdimensiju kontūras tā, kā to spēj dziļuma kamera.

Kamerā: Ar dažām aparatūras izmaiņām, piemēram, gandrīz infrasarkano gaismas diožu gredzenu, Microsoft LifeCam ir pielāgots darbam kā dziļuma kamera.

Dziļuma kameras ātri kļūst arvien populārākas, ņemot vērā to potenciālu kabatas formāta ierīcēs, kur ideja ir tāda, ka, ja mūsu tālruņi tver visa veida kontūras, sākot no ielu stūriem līdz jūsu viesistabas iekārtojumam, izstrādātāji var izveidot lietojumprogrammas, sākot no labākām interaktīvām spēlēm līdz noderīgām spēlēm. ceļveži vājredzīgajiem.

Tomēr, kamēr centieni, piemēram, Google Projekts Tango pievieno dziļuma kameras mobilajiem sīkrīkiem, jauns pētījums no Microsoft parāda, ka ar dažām vienkāršām modifikācijām un mašīnmācīšanās paņēmieniem parastu viedtālruņa kameru vai tīmekļa kameru var izmantot kā 3D dziļuma kameru. Ideja ir atvieglot piekļuvi 3-D lietojumprogrammu izstrādei, samazinot izmaksas un tehniskos šķēršļus šādu ierīču ienākšanai tirgū, kā arī padarīt pašas 3D dziļuma kameras daudz mazākas un mazāk enerģijas izsalkušas.

Rokas augšā: Microsoft pētnieki pārveidoja viedtālruņa kameru, lai tā varētu uztvert roku un seju dziļumu.

Grupai, kuru vada Šons Raiens Fanello, Cem Keskin un Shahram Izadi no Microsoft Research, ir paredzēts prezentēt papīrs par darbu otrdien Siggraph, datorgrafikas un mijiedarbības konferencē Vankūverā, Britu Kolumbijā.

Lai modificētu kameras, grupa noņēma tuvu infrasarkano staru filtru, ko bieži izmanto ikdienas kamerās, lai attēlos bloķētu parasti nevēlamus gaismas signālus. Pēc tam viņi pievienoja filtru, kas caurlaida tikai infrasarkano gaismu, kā arī vairāku lētu gandrīz infrasarkano gaismas diožu gredzenu. To darot, viņi būtībā lika katrai kamerai darboties kā infrasarkanajai kamerai.

Par seju: Ar dažām modifikācijām Microsoft pētnieki var izmantot parastās kameras, lai kartētu roku un seju dziļumu.

Mēs kaut kā pagriezām kameru uz galvas, atzīmē Izadi.

Microsoft komanda saka, ka tā vēlējās izmantot infrasarkanās gaismas atstarojošo intensitāti kā kaut ko līdzīgu sonāra signāla un lāpas krustojumam tumšā telpā. Gaisma atsitās pret tuvumā esošo objektu un atgrieztos sensorā ar atbilstošu intensitāti. Objekti ir spilgti, kad tie atrodas tuvu, un blāvi, kad tie atrodas tālu — mums tas ir intuitīvi, kad runa ir par redzamo gaismu. Taču grupai bija jāapmāca mašīnas (šajā gadījumā Samsung Galaxy Nexus viedtālrunis un Microsoft LifeCam Web kamera) par šīm attiecībām, lai kamera varētu noteikt, vai tā redz, teiksim, tālumā lielu roku vai mazu. roku tuvu.

Šajā projektā pētnieki nolēma koncentrēties tikai uz vienu izaicinājumu: cilvēku roku un seju modelēšanu, nevis visu veidu objektus un vidi. Pēc apmācības datu kopas izveidošanas, kas ietvēra roku attēlus, grupa atklāja, ka tā var izmērīt cilvēka kustības ar ātrumu 220 kadri sekundē. Iekšā demonstrācija grupa parādīja, kā šādu izsekošanu var izmantot, lai pārvietotos pa karti, piemēram, veicot kustības vai izpletot rokas, vai spēlēt vienkāršu spēli, piemēram, virtuāli sagriežot gaisā lidojošu banānu.

Treniņroka: Roku, kas uzņemta ar modificētu kameru, kas darbojas kā dziļuma kamera (pa kreisi), Microsoft pētnieku mašīnmācības algoritmā izmanto, lai novērtētu tās dziļumu (pa labi).

Lai gan apmācības dati bija vērsti uz sejām un rokām, grupa faktiski nemācīja mašīnas atpazīt rokas vai sejas, kā mēs par tām domājam, bet gan tikai ādas atstarojuma īpašības. Milzīgais apmācības datu apjoms ļauj iekārtai izveidot pietiekami daudz asociāciju ar attēlu datu punktiem, lai pēc tam varētu izmantot attēla papildu īpašības, lai novērtētu dziļumu. Microsoft izvēlējās ādu, jo tai ir tik daudz ietekmes uz navigāciju Xbox un Windows vidēs, taču Kohli norāda, ka mašīnmācīšanās metodes var pārsūtīt jebkur.

Viņš saka, ka vienīgais ierobežojums ir tas, kādus apmācības datus jūs tam sniedzat. Šo pieeju var pielāgot jebkuram citam scenārijam.

paslēpties