Balss pārrakstīšana galvā

Lorija Lejēna / MIT





MIT pētnieki ir izstrādājuši datora saskarni, kas var pārrakstīt vārdus, ko lietotājs verbalizē iekšēji, bet patiesībā nerunā skaļi.

Valkājamajā ierīcē esošie elektrodi uztver neiromuskulāros signālus žoklī un sejā, kas tiek aktivizēti, izrunājot vārdus galvā, bet cilvēka acij nav nosakāmi. Signāli tiek ievadīti mašīnmācības sistēmā, kas ir apmācīta korelēt noteiktus signālus ar konkrētiem vārdiem.

Ierīce, ko sauc par AlterEgo, ietver arī kaulus vadošas austiņas, kas pārraida vibrācijas caur sejas kauliem uz iekšējo ausi. Tā kā austiņas neaizsedz auss kanālu, sistēma var pārraidīt informāciju, nepārtraucot sarunu un netraucējot dzirdei.



AlterEgo nodrošina privātu un diskrētu kanālu informācijas pārsūtīšanai un saņemšanai, ļaujot lietotājiem veikt tādas darbības kā nenosakāmi pozēt un saņemt atbildes uz sarežģītām skaitļošanas problēmām vai klusi ziņot par pretinieku gājieniem šaha spēlē un tikpat klusi saņemt datora ieteiktās atbildes.

Mēs būtībā nevaram dzīvot bez saviem mobilajiem tālruņiem, saka Petija Maesa, mediju mākslas un zinātnes profesore un Arnav Kapur, Media Lab absolventa, kas vadīja sistēmas izstrādi, diplomdarbu padomniece. Taču šobrīd šo ierīču izmantošana ir ļoti traucējoša. Ja vēlos meklēt kaut ko, kas attiecas uz notiekošo sarunu, man ir jāatrod savs tālrunis un jāievada piekļuves kods, jāatver lietotne un jāievada kāds meklēšanas atslēgvārds. AlterEgo mērķis bija izveidot neinvazīvu izlūkošanas palielināšanas sistēmu, kuru pilnībā kontrolētu lietotājs.

Ideja, ka iekšējām verbalizācijām ir fiziskas korelācijas, pastāv kopš 19. gadsimta, un tā tika nopietni pētīta 1950. gados. Viens no 1960. gadu ātrlasīšanas kustības mērķiem bija novērst šo subvokalizāciju, kā tas ir zināms.



Bet subvokalizācija kā datora saskarne lielākoties nav izpētīta. Lai noteiktu, kuras sejas vietas nodrošina visdrošākos neiromuskulāros signālus, pētnieki piestiprināja pētāmo personu sejām 16 elektrodus un lika viņiem četras reizes izrunāt vienu un to pašu vārdu sēriju.

Pētnieki uzrakstīja kodu, lai analizētu iegūtos datus, un atklāja, ka signāli no septiņām elektrodu vietām konsekventi spēja atšķirt subvokalizētus vārdus. Rakstā, ko viņi prezentēja Datortehnikas asociācijas ACM viedā lietotāja interfeisa konferencē, viņi aprakstīja valkājamas klusas runas interfeisa prototipu, kas ap kaklu kā tālruņa austiņas ir apvijies ap kaklu un kam ir taustekļiem līdzīgi izliekti piedēkļi, kas pieskaras. seju septiņās vietās abās mutes pusēs un gar žokļiem.

Taču turpmākajos eksperimentos pētnieki panāca salīdzināmus rezultātus, izmantojot tikai četrus elektrodus vienā žoklī, kas varētu radīt mazāk uzbāzīgu ierīci.



Izvēloties elektrodu atrašanās vietas, pētnieki savāca datus par dažiem skaitļošanas uzdevumiem ar aptuveni 20 vārdu vārdnīcām. Viens no tiem bija aritmētika, kurā lietotājs subvokalizēja lielas saskaitīšanas vai reizināšanas problēmas; vēl viena bija šaha lietojumprogramma, kurā lietotājs ziņoja par gājieniem, izmantojot standarta šaha numerācijas sistēmu.

Pēc tam katrai lietojumprogrammai viņi izmantoja a neironu tīkls atrast korelācijas starp konkrētiem neiromuskulāriem signāliem un konkrētiem vārdiem.

Izmantojot prototipa saskarni, pētnieki veica lietojamības pētījumu, kurā 10 subjekti pavadīja apmēram 15 minūtes, pielāgojot aritmētisko lietojumprogrammu savai neirofizioloģijai un vēl 90 minūtes, izmantojot to, lai veiktu aprēķinus. Šajā pētījumā transkripcijas precizitāte bija vidēji aptuveni 92 procenti. Taču Kapur saka, ka veiktspējai vajadzētu uzlaboties, palielinoties treniņu datiem, ko varētu savākt parastas lietošanas laikā.



Pašreizējā darbā pētnieki vāc datus par sarežģītākām sarunām, cerot izveidot lietojumprogrammas ar daudz plašāku vārdu krājumu. Kapur saka: es domāju, ka kādreiz mēs sasniegsim pilnīgu sarunu.

paslēpties