211service.com
zīmju valodas tulkotājs
Divvalodu vārdnīcas parasti ir divvirzienu ceļš: jūs varat meklēt vārdu angļu valodā un atrast, teiksim, tā ekvivalentu spāņu valodā, taču varat arī rīkoties otrādi. Taču zīmju valodas vārdnīcas tulko tikai no rakstītiem vārdiem uz žestiem. Tas var būt ļoti kaitinoši, jo īpaši nedzirdīgo bērnu vecākiem, kuri vēlas saprast nepazīstamus žestus, vai nedzirdīgiem cilvēkiem, kuri vēlas sazināties tiešsaistē, izmantojot savu primāro valodu. Tātad Bostonas Universitātes (BU) pētnieki izstrādā a meklējama zīmju valodas vārdnīca , kurā jebkurš lietotājs var ievadīt žestu vārdnīcas meklētājprogrammā no sava klēpjdatora, parakstoties iebūvētās kameras priekšā.
Meklē pēc zīmes: Pētnieki Bostonā izstrādā pirmo zīmju valodas vārdnīcu, kurā var meklēt ar žestu. Parakstītājs (attēlā) sēž studijā, kas aprīkota ar ātrgaitas kamerām, kas fiksē roku kustības un sejas izteiksmes. Videoklipi klēpjdatorā mudina viņu izdarīt noteiktas zīmes. Parakstītāja video tiks izmantots, lai apmācītu algoritmus, lai noteiktu žestu modeļus.
Iespējams, jums pakalpojumā YouTube ir zīmju valodas kolekcija, un tagad, lai meklētu, jums ir jāmeklē angļu valodā, saka Stens Sklarofs , BU datorzinātņu profesors. Sclaroff saka, ka tas ir līdzvērtīgs teksta meklēšanai spāņu valodā, izmantojot tulkojumus angļu valodā. Tas ir nedabiski, viņš saka, un tas nav godīgi.
Sclaroff vārdnīcu izstrādā sadarbībā ar Kerola Neidle , BU valodniecības profesors un Vassilis Athitsos, datorzinātņu un inženierzinātņu docents Teksasas Universitātē Ārlingtonā. Kad lietotājs izpilda žestu, vārdnīca to analizēs un apkopos piecas iespējamās atbilstības un nozīmes.
Mūsdienu zīmju valodas atpazīšana ir aptuveni tajā posmā, kurā runas atpazīšana bija pirms 20 gadiem, saka Tads Stārners , Džordžijas Tehnoloģiju institūta kontekstuālās skaitļošanas grupas vadītājs. Starnera grupa ir attīstījusies zīmju valodas atpazīšanas programmatūra bērniem , izmantojot cimdus ar sensoru, lai izsekotu roku kustībām. Viņš un viņa audzēkņi ir izstrādājuši izglītojošas spēles, kurās bērni ar dzirdes traucējumiem, cimdos valkājot, apgūst zīmju valodu. Dators novērtē rokas formu un pāriet uz nākamo vingrinājumu, ja bērns ir pareizi parakstījis.
Atšķirībā no Stārnera darba, Sclaroff un Neidle mērķis ir bezsensoru sistēma, kurā ikviens, kam ir kamera un interneta savienojums, var apgūt zīmju valodu un mijiedarboties. Šī pieeja, pēc Starnera domām, ir unikāla zīmju valodas atpazīšanas jomā, kā arī datorredzes jomā.
Tas prasa daudz apstrādes jaudas, un mēģināt tikt galā ar zīmju valodu dažādās video kvalitātēs ir ļoti grūti, saka Starners. Tātad, ja viņi gūst panākumus, būtu ļoti forši, ja tiešām varētu meklēt tīmeklī zīmju valodā.
Lai risinātu šo grūto izaicinājumu, BU komanda aicina vairākus parakstītājus sēdēt studijā pa vienam un parakstīties, izmantojot 3000 žestus klasiskajā amerikāņu zīmju valodas (ASL) vārdnīcā. Kad viņi parakstās, četras ātrdarbīgas augstas kvalitātes kameras vienlaikus uztver priekšējo un sānu skatu, kā arī sejas izteiksmes. Pēc Neidla teiktā, smaidi, sarauktas uzacis un paceltas uzacis ir lielā mērā maz pētīta ASL daļa, kas varētu sniegt spēcīgus norādījumus par žesta nozīmi.
Vizuālajiem datiem nonākot, Neidle un viņas skolēni tos analizē, atzīmējot katras zīmes sākumu un beigas un identificējot galvenos apakšžestus – vienības, kas līdzvērtīgas angļu fonēmām. Tikmēr Sclaroff izmanto šo informāciju, lai izstrādātu algoritmus, kas, teiksim, var atšķirt parakstītāja rokas no fona vai atpazīt roku stāvokli un formu un kustību modeļus. Tā kā jebkura persona var parakstīt vārdu nedaudz atšķirīgā veidā, komanda analizē gan vietējo, gan svešzemju parakstītāju žestus, cerot izstrādāt datora atpazinēju, kas spēj apstrādāt šādas variācijas.
Galvenais izaicinājums nākotnē var būt daudzo nekontrolējamo faktoru ņemšana vērā lietotāja saskarnes pusē, saka Sclaroff. Piemēram, kādam, kurš izmanto žestu, lai ievadītu meklēšanas vaicājumu klēpjdatorā, būs zemākas kvalitātes kamera. Fons var būt vairāk pārblīvēts nekā rūpīgi kontrolētā studijas vide datu bāzes paraugos, un datoram būs jāpielāgojas tādiem mainīgajiem lielumiem kā apģērbs un ādas tonis.
Tikai izveidot zīmi un to meklēt — tas ir īstais jaunums, ko mēs cenšamies paveikt, saka Neidle. Tas būtu uzlabojums salīdzinājumā ar visu, kas tagad pastāv.