Mašīnredze ir iemācījusies izmantot radioviļņus, lai redzētu cauri sienām un tumsā

Darbības atpazīšanas izvade, kurā redzamas figūras, kas spārda un sit pa muguru AR CSAIL

Mašīnredzei ir iespaidīgs rekords. Tam piemīt pārcilvēciskas spējas atpazīt cilvēkus, sejas un objektus. Tas pat var atpazīt daudz dažādu darbību veidu, lai gan vēl ne tik labi kā cilvēki.

Bet tā veiktspējai ir ierobežojumi. Mašīnām ir īpaši grūti laiki, kad cilvēki, sejas vai priekšmeti ir daļēji aizsegti. Un, kad gaismas līmenis pazeminās pārāk tālu, viņi tiek efektīvi akli, tāpat kā cilvēki.

Bet ir vēl viena elektromagnētiskā spektra daļa, kas nav tādā pašā veidā ierobežota. Radioviļņi piepilda mūsu pasauli neatkarīgi no tā, vai tā ir nakts vai diena. Tie viegli iziet cauri sienām un tiek pārraidīti un atspoguļoti cilvēka ķermenī. Patiešām, pētnieki ir izstrādājuši dažādus veidus, kā izmantot Wi-Fi radio signālus, lai redzētu aiz slēgtām durvīm.

Taču šīm radioredzes sistēmām ir daži trūkumi. Viņu izšķirtspēja ir zema; attēli ir trokšņaini un piepildīti ar traucējošiem atspīdumiem, kas apgrūtina notiekošā jēgu.

Šajā ziņā radio attēliem un redzamās gaismas attēliem ir papildu priekšrocības un trūkumi. Un tas rada iespēju izmantot viena stiprās puses, lai pārvarētu otra trūkumus.

Ienāciet Tianhong Li un kolēģi no MIT, kuri ir atraduši veidu, kā iemācīt radioredzes sistēmai atpazīt cilvēku darbības, apmācot to ar redzamās gaismas attēliem. Jaunā radioredzes sistēma var redzēt, ko cilvēki dara dažādās situācijās, kad redzamās gaismas attēlveidošana neizdodas. Mēs ieviešam neironu tīkla modeli, kas var noteikt cilvēka darbības caur sienām un oklūzijas, kā arī slikta apgaismojuma apstākļos, piemēram, Li un co.

Komandas metode izmanto glītu triku. Pamatideja ir ierakstīt vienas un tās pašas ainas video attēlus, izmantojot redzamo gaismu un radioviļņus. Mašīnredzes sistēmas jau spēj atpazīt cilvēka darbības no redzamās gaismas attēliem. Tātad nākamais solis ir korelēt šos attēlus ar tās pašas ainas radio attēliem.

Taču grūtības ir nodrošināt, lai mācību process būtu vērsts uz cilvēka kustību, nevis uz citām iezīmēm, piemēram, fonu. Tāpēc Li un co ievieš starpposmu, kurā iekārta ģenerē 3D nūjas figūriņu modeļus, kas atveido uz skatuves esošo cilvēku darbības.

Pārvēršot ievadi starpposma attēlojumā, kas balstīts uz skeletu, mūsu modelis var mācīties gan no redzes, gan radiofrekvenču datu kopām un ļaut abiem uzdevumiem palīdzēt viens otram. saka Li un co.

Tādā veidā sistēma iemācās atpazīt darbības redzamā gaismā un pēc tam atpazīt tās pašas darbības, kas notiek tumsā vai aiz sienām, izmantojot radioviļņus. Mēs parādām, ka mūsu modelis sasniedz salīdzināmu precizitāti ar uz redzi balstītām darbību atpazīšanas sistēmām redzamos scenārijos, tomēr turpina darboties precīzi, kad cilvēki nav redzami, saka pētnieki.

Tas ir interesants darbs, kam ir ievērojams potenciāls. Acīmredzami lietojumi ir gadījumi, kad redzamās gaismas attēli neizdodas — vājā apgaismojumā un aiz slēgtām durvīm.

Bet ir arī citas lietojumprogrammas. Viena no problēmām ar redzamās gaismas attēliem ir cilvēku atpazīstamība, kas rada privātuma problēmas.

Taču radio sistēmai nav izšķirtspējas sejas atpazīšanai. Darbību identificēšana, neatpazīstot sejas, nerada tādas pašas bailes par privātumu. Tas var nodrošināt darbību atpazīšanu cilvēku mājās un ļaut to integrēt viedās mājas sistēmās, saka Li un co. To var izmantot, lai, piemēram, uzraudzītu vecāka gadagājuma cilvēku māju un brīdinātu attiecīgos dienestus par kritienu. Un tas tiktu darīts bez liela riska privātumam.

Tas pārsniedz mūsdienu uz vīziju balstīto sistēmu iespējas.

Atsauce: arxiv.org/abs/1909.09300 : Padarīt neredzamo redzamu: Darbības atpazīšana caur sienām un oklūzijām

paslēpties