Kā aproces var tulkot zīmju valodu

Pāris myo žestu kontroles aproces un dators vai viedtālrunis var padarīt dzirdes invalīdiem ātrāku un vieglāku saziņu, izmantojot zīmju valodu, ar tiem, kuri to nesaprot.





Tas ir tas, ko Arizonas štata universitātes pētnieki saka, ka viņi var darīt ar projektu, ko sauc Scepteris . Viņi izmanto aproces, lai mācītu programmatūrai virkni amerikāņu zīmju valodas žestu; pēc tam, kad cilvēks, kurš valkā lentes, izveido kādu no šīm zīmēm, to var saskaņot ar atbilstošo vārdu vai frāzi Sceptre datubāzē un parādīt kā tekstu ekrānā.

Cerība ir atvieglot saziņu īpaši ārkārtas situācijās, piemēram, ārsta kabinetā vai slimnīcā, nepaļaujoties uz rakstisku saziņu vai, kā tas ir izdarīts dažos citos zīmju valodas atpazīšanas pētījumos, izmantojot kameras, lai atpazītu zīmju valodas žestus. A papīrs par darbu tiks prezentēts viedo lietotāju interfeisu konferencē martā.

Pētnieki paļāvās uz Myo aproces, lai Scepter darbotos, jo tie ietver gan inerciālu mērvienību kustības izsekošanai, gan elektromiogrāfijas sensorus muskuļu uztveršanai, ko var izmantot, lai palīdzētu noteikt pirkstu konfigurācijas. Viņi apmācīja programmatūru, lai atpazītu dažādus ASL žestus, kā arī atsevišķu burtu zīmes un ciparus no 1 līdz 10, ko veic kāds, kurš valkā Myo aproces.



Sceptre, pētniecības projekts, kas tulko zīmju valodu kā tekstu, izmantojot Myo aproces, varētu darboties ar datoru vai viedtālruni.

Pēc tam, kad lietotāji apmācīja savu programmatūru ar 20 dažādiem ASL žestiem, piemēram, picu, laimīgu un oranžu, katru no tiem atkārtojot trīs reizes, pētnieki atklāja, ka Scepters spēja pareizi atšifrēt zīmi gandrīz 98 procentus laika.

Iekšā video demonstrējot, kā tas darbojas, Prajwal Paudyal, Arizonas štata universitātes absolvents, kurš bija raksta līdzautors , nēsā rokas apsējus un parakstās uz vairākām dažādām lietām, kas pēc tam tiek ilustrētas datora displejā, piemēram, visu rītu, galvassāpes un nevar gulēt.



Lai gan pētījumā zīmes tika parādītas kā teksts, tās varēja arī skaļi izrunāt lietotnē, lai atvieglotu sarunu, saka Paudials. . Un, lai gan pētnieku demonstrācijā tika parādīts teksts datora displejā, ar kuru Myo aproces ir savienotas, izmantojot Bluetooth, Scepter varēja izmantot arī tikai ar viedtālruni — pie kā arī pētnieki strādā (Myo atbalsta datu straumēšanu no divām aproces uz vienu viedtālrunis, taču pētnieki saka, ka tas nebija iespējams, veicot sākotnējo darbu).

Ideālā gadījumā persona to var izmantot jebkurā vietā, saka Paudyal.

Sceptre, Arizonas štata universitātes pētniecības projekts, izmanto divas Myo aproces, lai tulkotu zīmju valodu kā tekstu.



Roozbeh Jafari , Teksasas A&M attālās veselības aprūpes tehnoloģiju un sistēmu centra asociētais profesors, ir veicis līdzīgu darbu, lai gan tas ietvēra sensoru izveidi, nevis gatavu ierīču izmantošanu, kā to darīja ASU grupa.

Viņš saka, ka ir vairākas problēmas, kas būtu jāatrisina, lai kaut kas līdzīgs Scepter derētu patērētājiem. Parasti, novietojot elektromiogrāfijas sensorus uz ķermeņa, sistēma, kas tos izmanto, ir jākalibrē, ja vien tie neatrodas tieši tajā pašā vietā, kur tie bija iepriekš, viņš saka. Ir arī jāņem vērā atšķirības, kas dabiski rodas, kā cilvēki paraksta vienu un to pašu. Neskatoties uz šiem šķēršļiem, viņš saka, es domāju, ka mēs virzāmies pareizajā virzienā.

paslēpties