Meklējot video lekcijas

MIT pētnieki ir izlaiduši video un audio meklēšanas rīku, kas atrisina vienu no vissarežģītākajām problēmām šajā jomā: kā sadalīt garu akadēmisko lekciju pārvaldāmās daļās, precīzi noteikt atslēgvārdu atrašanās vietu un novirzīt lietotāju uz tiem. Pagājušajā mēnesī paziņoja MIT Lekciju pārlūks tīmekļa vietne sniedz plašai sabiedrībai detalizētu piekļuvi vairāk nekā 200 lekcijām, kas ir publiski pieejamas, izmantojot universitāti OpenCourseWare iniciatīvs. Meklētājprogramma izmanto gadu desmitiem ilgus runas atpazīšanas pētījumus MIT un citās iestādēs, lai pārvērstu audio tekstā un padarītu to meklējamu.





Skatos lekcijas: MIT piedāvā video meklēšanas rīku, kas var precīzi noteikt atslēgvārdus audio un video lekcijās. Lūk, šajā videoklipā tiek meklēts eksoskelets un benzīns. Lekcijas automatizētais atšifrējums ir redzams zem video.

Lecture Browser parādās laikā, kad arvien vairāk universitāšu, tostarp Kārnegija Melona universitāte un Kalifornijas Universitāte Bērklijā, tiešsaistē ievieto lekciju videoklipus un aplādes. Lai gan šis saturs ir noderīgs, konkrētas informācijas atrašana lekcijās var būt sarežģīta, radot neapmierinātību studentiem, kuri ir pieraduši atrast vajadzīgo ātrāk nekā sekundē, izmantojot Google.

Tā ir pieaugoša problēma universitātēm visā valstī, jo kļūst vieglāk ierakstīt lekcijas klasē, saka Džims Glāss, MIT pētnieks. Tas ir īsts izaicinājums zināt, kā tos izplatīt un atvieglot studentiem piekļuvi tām lekcijas daļām, kas viņus varētu interesēt. Tas ir kā adatas atrašana siena kaudzē.



Lecture Browser pamatelementi ir bijuši MIT pētniecības laboratorijās un tādās vietās kā BBN tehnoloģijas Bostonā, Kārnegijs Melons, SRI International Palo Alto, Kalifornijā, un Dienvidkalifornijas Universitātē vairāk nekā 30 gadus. Viņu pūliņi ir radījuši programmatūru, kas beidzot ir pietiekami laba, lai atrastu ceļu pie vidusmēra cilvēka, saka Premkumars Natarajans, BBN zinātnieks. Viņš saka, ka ir bijis apmēram trīs gadu desmitu darbs, kurā tika risinātas daudzas būtiskas problēmas. Tehnoloģija tagad ir pietiekami nobriedusi, jo sabiedrībā arvien vairāk rodas sajūta, ka ir pienācis laiks [testēt lietojumprogrammas reālajā pasaulē]. Laboratorijā esam izdarījuši visu iespējamo.

Daži uzņēmumi, piemēram, tiešsaistes audio un video meklētājprogrammas Blinkx un EveryZing (kurai ir licencēta BBN tehnoloģija) izmanto programmatūru, kas pārvērš audio runu meklējamā tekstā. (Skatiet sērfošanu TV internetā un precīzāku video meklēšanu.) Taču MIT pētnieki saskārās ar īpašiem izaicinājumiem akadēmisko lekciju laikā. Pirmkārt, daudziem pasniedzējiem angļu valoda nav dzimtā, kas padara automātisko transkripciju sarežģītu sistēmām, kas apmācītas uz amerikāņu angļu valodas akcentiem. Otrkārt, zinātnes lekcijās iecienītie vārdi var būt diezgan neskaidri. Visbeidzot, saka Regīna Barzilaja MIT datorzinātņu profesors, lekcijām ir ļoti maz pamanāmas struktūras, tāpēc tās ir grūti sadalīt un sakārtot, lai atvieglotu meklēšanu. Viņa saka, ka aktuālās pārejas ir ļoti smalkas. Lekcijas netiek organizētas kā parasts teksts.

Lai risinātu šīs problēmas, pētnieki vispirms konfigurēja programmatūru, kas pārvērš audio par tekstu. Viņi apmācīja programmatūru, lai saprastu konkrētus akcentus, izmantojot precīzus ierakstītas runas īsu fragmentu transkripcijas. Lai palīdzētu programmatūrai identificēt neparastus vārdus — no drozofilas līdz slēgta cikla integrāļiem, pētnieki tai sniedza papildu datus, piemēram, tekstu no grāmatām un lekciju piezīmes, kas palīdz programmatūrai precīzi pārrakstīt četrus no pieciem vārdiem. Ja sistēma tiek izmantota kopā ar cilvēkiem, kuriem angļu valoda nav dzimtā un kura akcents un vārdu krājums nav apmācīts atpazīt, precizitāte var samazināties līdz 50 procentiem. (Tik zema precizitāte nebūtu noderīga tiešai transkripcijai, taču tā joprojām var būt noderīga, meklējot atslēgvārdus.)



Nākamais solis, skaidro Barzilay, ir pievienot pārrakstītajiem vārdiem struktūru. Jau bija pieejama programmatūra, kas varēja sadalīt garas teikumu virknes augsta līmeņa jēdzienos, taču viņa atklāja, ka ar lekcijām tas nav piemērots. Tāpēc viņas grupa izstrādāja savu. Viena no galvenajām atšķirībām, viņa saka, ir tā, ka lekcijas laikā jūs runājat brīvi; tu murgo un muldi.

Lai sakārtotu pārrakstīto tekstu, viņas grupa izveidoja programmatūru, kas sadala tekstu gabalos, kas bieži atbilst atsevišķiem teikumiem. Programmatūra ievieto šos gabalus tīkla struktūrā; gabali, kuriem ir līdzīgi vārdi vai kas tika runāti cieši kopā laikā, tiek ievietoti tīklā tuvāk viens otram. Tīklā esošo gabalu relatīvais attālums ļauj programmatūrai izlemt, kuri teikumi attiecas uz katru lekcijas tēmu vai apakštēmu.

Viņa saka, ka rezultāts ir saskaņota transkripcija. Kad persona meklē atslēgvārdu, pārlūkprogramma piedāvā rezultātus video vai audio laika skalas veidā, kas ir sadalīts sadaļās. Izcelta lekcijas sadaļa, kurā ir atslēgvārds; zem tā ir teksta fragmenti, kas ieskauj katru atslēgvārda gadījumu. Kad tiek atskaņots videoklips, pārlūkprogramma zem tā parāda transkribēto tekstu.



Barzilay saka, ka pārlūkprogramma pašlaik saņem vidēji 21 000 apmeklējumu dienā, un, lai gan tā ir populāra, joprojām ir jādara darbs. Dažu nākamo mēnešu laikā viņas komanda pievienos funkciju, kas automātiski pievieno lekcijām teksta kontūru, lai lietotāji varētu pāriet uz vēlamo sadaļu. Turpmāk pētnieki dos lietotājiem iespēju veikt labojumus stenogrammā tādā pašā veidā, kā cilvēki veicina Wikipedia. Lai gan šādi uzlabojumi šķiet vienkārši, tie rada tehniskas problēmas, saka Barzilay. Tas nav mazsvarīgs jautājums, jo jūs vēlaties, lai interfeiss nebūtu apnicīgs, un jums ir jāizplata labojums visā lekcijā un citās lekcijās. Viņa saka, ka cilvēku iesaistīšana transkripcijas cilpā varētu uzlabot sistēmas precizitāti par pāris procentpunktiem, padarot lietotāja pieredzi vēl labāku.

paslēpties