211service.com
Video meklēšana pēc skata un scenārija
Google iegāde šonedēļ vietnē YouTube.com ir radījusi cerības, ka video meklēšana uzlabosies. Saskaņā ar tīmekļa vietni katru dienu vietnē YouTube tiek augšupielādēti vairāk nekā 65 000 videoklipu. Izmantojot visu šo saturu, var būt grūti atrast pareizo klipu.
Tagad pētnieki ir izstrādājuši sistēmu, kas izmanto seju atpazīšanas, tuvu parakstu informācijas un oriģinālo televīzijas skriptu kombināciju, lai automātiski nosauktu ekrānā redzamās sejas, veidojot TV šova epizodes. Bafija vampīru slepkava meklējams.
Būtībā mēs šo darbu uztveram kā vienu no pirmajiem soļiem, lai iegūtu automatizētus aprakstus par to, kas notiek videoklipā, saka Marks Everingems , datorzinātnieks, kurš šobrīd strādā Līdsas Universitātē (agrāk Oksfordas Universitātē), kurš septembrī prezentēja savu pētījumu Lielbritānijas mašīnredzes konferencē.
Pašlaik video meklēšanu piedāvā AOL video , Google , un Youtube nemeklējiet paša videoklipa saturu, bet galvenokārt paļaujieties uz metadatiem vai teksta aprakstiem, ko rakstījuši lietotāji, lai izveidotu tīmekļa multivides satura meklēšanas rādītāju.
Lietotāji bieži (un nelegāli) augšupielādē savu iecienītāko komēdiju fragmentus un fragmentus video koplietošanas vietnēs, piemēram, YouTube. Piemēram, nesen tika meklēts Buffy the Vampire Slayer pakalpojumā YouTube tika parādīti gandrīz 2000 klipu, daudzi no tiem skatīti tūkstošiem reižu. Lielākā daļa šo klipu ir mazāk nekā piecas minūtes, un apraksti ir neskaidri. Piemēram, vienu ar nosaukumu Ir pienākusi jauna diena, lietotājs apraksta šādi: tajā pārsvarā ir Buffy un Spike. Tas parāda, kā Spaiks bija līdzās Bafijam, līdz viņš nomira, un viņa pēc tam jutās viena.
Everingems saka, ka iepriekšējais darbs video meklēšanā ir izmantojis datus no subtitriem, lai atrastu videoklipus, taču viņš nezina, ka kāds būtu izmantojis viņa metodi, kas tehniskajā ceļojumā apvieno subtitrus un scenārija anotāciju. Skripts stāsta, kas ir teikts un kurš to teica, un subtitri norāda, cikos kaut kas tiek pateikts, viņš skaidro. Everingham programmatūra apvieno šos divus informācijas avotus ar spēcīgiem rīkiem, kas iepriekš izstrādāti, lai izsekotu sejas un identificētu skaļruņus bez lietotāja ievades.
Kas radīja Bafija Everingems saka, ka šāds izaicinājums ir tāds, ka filmās un televīzijā runātājs ne vienmēr ir kadrā. Zvaigzne Bafija var runāt ārpus ekrāna vai, piemēram, ar seju prom no kameras, un kamera rādīs jums klausītāja reakcijas. Citreiz ekrānā var būt vairāki aktieri, vai arī aktiera seja nav tieši vērsta pret kameru. Visas šīs neskaidrības cilvēkiem ir viegli interpretēt, bet datoriem tās ir grūti – vismaz līdz šim. Everingems saka, ka viņu multimodālā sistēma ir precīza līdz 80 procentiem laika.
Viena epizode no Bafija var būt līdz 20 000 atklātu seju gadījumu, taču lielākā daļa šo gadījumu rodas no vairākiem vienas rakstzīmes kadriem jebkurā konkrētā kadrā. Programmatūra izseko galvenos orientierus uz aktiera sejām — piemēram, nāsīm, zīlītēm un acīm — un, ja viens no tiem pārklājas ar nākamo kadru, abas sejas tiek uzskatītas par viena ieraksta daļu. Tomēr, ja šie orientieri ir neskaidri, programmatūra izmanto apģērba aprakstu, lai apvienotu divas bojātas sejas pēdas. Visbeidzot, programmatūra arī vēro aktieru lūpas, lai noteiktu, kurš runā vai runātājs ir ārpus ekrāna. Galu galā sistēma izveido detalizētu videoklipa anotāciju, kas tiek atskaņota pēc atskaņošanas.
Vispārējā ideja ir tāda, ka vēlaties iegūt vairāk informācijas, neļaujot cilvēkiem to uztvert, saka Alekss Bergs Datorredzes grupa Kalifornijas Universitātē Bērklijā. Ja vēlaties atrast konkrētu ainu ar varoni, vispirms ir jāatrod ainas, kurās ir šis varonis. Viņš saka, ka Everingemas pētījumi pavērs ceļu sarežģītākiem televīzijas programmu meklējumiem.
Datorzinātnieks Jozefs Sivičs Oksfordā Vizuālās ģeometrijas grupa , kas veicināja Bafija projektā, teikts, ka nākotnē būs iespējams meklēt augsta līmeņa koncepcijas, piemēram, Bafija un Spiks, kas iet uz kameru roku rokā, vai visas āra ainas, kurās ir iekļauta Bafija.
Timotijs Tatls, AOL Video viceprezidents, saka: Šķiet, ka nākamo piecu līdz desmit gadu laikā arvien vairāk cilvēku izvēlēsies, ko skatīties pēc sava grafika, un viņi skatīsies saturu pēc pieprasījuma. Viņš arī atzīmē, ka šķērslis tādu tehnoloģiju pielāgošanai kā Everingham vairs nav tehniskas, bet gan juridiskas.
Šie juridiskie šķēršļi ir samazinājušies drukātajos plašsaziņas līdzekļos, jo uzņēmumi ir guvuši finansiālus ieguvumus no meklējamā satura — ir pierādīts, ka Google grāmatu skenēšana un Amazon meklēšanas programmas palielināt grāmatu pārdošanu pēdējo divu gadu laikā .
Taču nav skaidrs, vai meklējams videoklips var palielināt DVD pārdošanas apjomu tādā pašā veidā. Pašlaik Google piedāvā augstākās kvalitātes video satura tīzes, saka zinātniece Mišela Kovela. Viņa saka, ka noteiktiem žanriem, piemēram, sporta videoklipiem, kļūst vieglāk izvēlēties reklāmas klipu, kas mudinās cilvēkus iegādāties videoklipu.
Šumīts Baluja, Google personāla pētnieks, piekrīt, ka video anotēšana tīmeklī būs izaicinājums, taču laika gaitā viņi varēs pievienot arvien vairāk metadatu populāriem videoklipiem bezsaistē, kas uzlabos videoklipu atskaņošanas ātrumu un precizitāti. meklējumi.