Automatizētās lūpu lasīšanas izaicinājumi un draudi

16. gadsimtā spāņu benediktīniešu mūks Pjetro Ponce bija aizsācējs šķietami maģiskajai lasīšanas no lūpām mākslā. Lai gan šī tehnika, iespējams, ir agrāka par viņu, Ponce bija pirmais veiksmīgais skolotājs lasīšanai no lūpām.

Toreiz, tāpat kā tagad, šī tehnika galvenokārt tika izmantota, lai palīdzētu cilvēkiem ar dzirdes traucējumiem interpretēt runu. Bet to izmanto arī citi, lai noklausītos sarunas. Patiešām, dažādi eksperimenti liecina, ka mūsu spēja interpretēt runu uzlabojas, kad varam redzēt runātāja kustīgās lūpas. Citiem vārdiem sakot, gandrīz visi zināmā mērā izmanto lasīšanu no lūpām.

Tas rada interesantu jautājumu. Vai lūpu lasīšanas procesu var automatizēt un veikt ar datoru? Un, ja jā, cik veiksmīga var būt šī pieeja un kādus draudus tā rada privātumam?

Šodien mēs saņemam dažas atbildes, pateicoties Ahmada Hasanata darbam Mu’tah universitātē Jordānijā. Viņš izklāsta izaicinājumus, ar kuriem pētnieki saskaras automatizētās lūpu lasīšanas jomā, ko citādi sauc par vizuālās runas atpazīšanu. No viņa analīzes ir skaidrs, ka, ja lūpu lasīšana tiks veiksmīgi automatizēta, joprojām ir jāpārvar ievērojamas problēmas.

Lūpu lasīšanas pamatprocess ir atpazīt mutes veidotu formu secību un pēc tam saskaņot to ar konkrētu vārdu vai vārdu secību.

Šeit ir ievērojams izaicinājums. Runas laikā mute veido no 10 līdz 14 dažādām formām, kas pazīstamas kā visēmas. Turpretim runā ir aptuveni 50 atsevišķas skaņas, kas pazīstamas kā fonēmas. Tātad viena visēma var pārstāvēt vairākas dažādas fonēmas.

Un tur slēpjas problēma. Visēmu secību parasti nevar saistīt ar unikālu vārdu vai vārdu secību. Tā vietā visēmu secībai var būt vairāki dažādi risinājumi. Lūpu lasītāja izaicinājums ir izvēlēties to, ko runātājs ir izmantojis.

Problēmu pastiprina fakts, ka runātāja lūpas bieži ir aizsegtas, tāpēc lūpu lasītājs vidēji redz tikai aptuveni 50 procentus no runātajiem vārdiem. Rezultāts ir tāds, ka lasīšana no lūpām nekādā gadījumā nav ideāla pat vispieredzējušākajiem praktiķiem.

Eksperimenti parāda, cik grūti tas ir, pat ja vārdu krājums ir ļoti ierobežots. kad cilvēkiem tiek lūgts izlemt, kurš no cipariem no 1 līdz 9 ir izrunāts, tikai lasot no lūpām, viņu panākumu līmenis vidēji ir nedaudz vairāk par 50 procentiem. Nepavisam nav labi.

Tāpēc ir viegli iedomāties, ka šīs tehnikas automatizācijas izredzes ir sliktas. Taču Hasanāts norāda uz pieaugošu pētījumu kopumu, kas risina šo problēmu, ko palīdzējis straujš mašīnredzes uzlabojums pēdējos gados.

Pirmā problēma automatizētai lūpu lasīšanai ir sejas un lūpu atpazīšana. Pēdējos gados tas ir lēcienveidīgi uzlabojies. Sarežģītāks izaicinājums ir atpazīt, iegūt un klasificēt lūpu ģeometriskās iezīmes runas laikā.

To veic, mērot lūpu augstumu un platumu, kā arī citas pazīmes, piemēram, elipses formu, kas ierobežo lūpas, redzamo zobu skaitu un attēla apsārtumu, kas nosaka redzamās mēles daudzumu. .

Precīzu lūpu kontūru ir grūti noteikt, jo ir salīdzinoši maza atšķirība starp pikseļiem, kas parāda seju un lūpas. Patiešām, Hasanāts saka, ka tas nav nepieciešams, jo norobežojošā elipse un mutes augstums un forma nodrošina pienācīgu reālo kontūru tuvinājumu. Mēs apgalvojam, ka nav nepieciešams izmantot visus vai dažus lūpu kontūras punktus, lai noteiktu lūpu ārējo formu, viņš saka.

Tomēr viņa un citu veiktie eksperimenti ir atklājuši citas problēmas. Viens no tiem ir tas, ka bārdas un ūsas var ievērojami sajaukt vizuālās runas atpazīšanas sistēmas. Līdz ar to viņi ir veiksmīgāki ar sievietēm, nevis vīriešiem.

Vēl viena problēma ir tā, ka daži cilvēki ir izteiksmīgāki ar lūpām nekā citi, tāpēc viņu teikto ir vieglāk interpretēt tikai no lūpu kustībām. Patiešām, daži cilvēki gandrīz nemaz nekustina lūpas, un šīs tā sauktās personas bez runas ir gandrīz neiespējami interpretēt.

Neskatoties uz to, paša Hassanata vizuālās runas atpazīšanas sistēma ir ļoti laba. Viņa eksperimenti sasniedz vidējo panākumu līmeni 76% apmērā, lai gan rūpīgi kontrolētos apstākļos. Sievietēm panākumu līmenis ir vēl lielāks, jo nav bārdas un ūsu.

Tas viss liecina, ka nākotnē pastāv ievērojams vizuālās runas atpazīšanas sistēmu potenciāls, jo īpaši kā palīglīdzeklis citiem runas atpazīšanas veidiem.

Tomēr joprojām ir svarīgi izaicinājumi. Jo īpaši Hassanats norāda, ka labākie cilvēku lūpu lasītāji paļaujas uz ievērojamu papildu informācijas daudzumu, lai interpretētu runu, piemēram, sarunas kontekstu, runātāja ķermeņa kustības un labas gramatikas, idiomu un parastās runas zināšanas.

Šie ir faktori, ar kuriem datoriem vēl ir jātiek galā. Automātiskā lūpu nolasīšana vēl var būt tālu, taču pirmās pazīmes liecina, ka tas nekādā gadījumā nav neiespējams.

Un tas rada virkni citu ar privātumu saistītu problēmu. Piemēram, var gadīties, ka sarunu video bez skaņas pašlaik nav iespējams interpretēt, taču nākotnē tos var viegli interpretēt. Kā politiķi, uzņēmumu vadītāji un populāras personas varētu rīkoties saskaņā ar šādu nākotnes analīzi?

Par ko padomāt nākamreiz, kad redzēsit videonovērošanas kameru.

Atsauce: arxiv.org/abs/1409.1411 : vizuālā runas atpazīšana

paslēpties