211service.com
Kad mākslīgais intelekts nodrošina skaņu videoklipos, cilvēki nevar noteikt atšķirību
Mašīnmācība maina veidu, kā mēs domājam par attēliem un to radīšanas veidu. Pētnieki ir apmācījuši mašīnas, lai radītu sejas, zīmētu karikatūras un pat pārnestu gleznu stilu uz attēliem. Tas ir tikai īss solis no šīm metodēm līdz videoklipu izveidei šādā veidā, un tas patiešām jau tiek darīts.
Tas viss norāda uz veidu, kā virtuālās vides izveidot pilnībā ar mašīnu. Tas paver visa veida iespējas cilvēces pieredzes nākotnei.
Bet ir problēma. Video nav tikai vizuāla pieredze; Tikpat svarīgi ir radīt reālistisku skaņu. Tāpēc interesants jautājums ir par to, vai mašīnas var pārliecinoši ģenerēt video audio komponentu.
Šodien mēs saņemam atbildi, pateicoties Yipin Zhou un draugu darbam Ziemeļkarolīnas Universitātē Chapel Hill un dažiem draugiem no Adobe Research. Šie puiši ir apmācījuši mašīnmācības algoritmu, lai radītu reālistiskus skaņu celiņus īsiem videoklipiem.
Patiešām, skaņas ir tik reālistiskas, ka tās liek lielākajai daļai cilvēku domāt, ka tās ir īstas. Jūs varat veic testu pats šeit lai redzētu, vai varat atšķirt.
Komanda izmanto standarta pieeju mašīnmācībai. Algoritmi ir tik labi, cik tie ir izmantoti to apmācīšanai, tāpēc pirmais solis ir izveidot lielu, augstas kvalitātes anotētu video piemēru datu kopu.
Komanda izveido šo datu kopu, atlasot klipu apakškopu no Google kolekcijas ar nosaukumu Audioset, kas sastāv no vairāk nekā diviem miljoniem 10 sekunžu klipu no YouTube, kuros visos iekļauti audio notikumi. Šie videoklipi ir sadalīti kategorijās ar cilvēkiem, kas koncentrējas uz tādām lietām kā suņi, motorzāģi, helikopteri utt.
Lai apmācītu mašīnu, komandai jābūt klipiem, kuros skaņas avots ir skaidri redzams. Tāpēc neviens videoklips, kurā ir audio no notikumiem ārpus ekrāna, nav piemērots. Komanda tos filtrē, izmantojot kolektīvos darbiniekus no Amazon pakalpojuma Mechanical Turk, lai atrastu klipus, kuros audio avots ir skaidri redzams un dominē skaņu celiņā.
Tādējādi tika izveidota jauna datu kopa ar vairāk nekā 28 000 video, katrs aptuveni septiņu sekunžu garumā, aptverot 10 dažādas kategorijas.
Pēc tam komanda izmantoja šos videoklipus, lai apmācītu mašīnu atpazīt ar katru kategoriju saistītās viļņu formas un reproducēt tās no nulles, izmantojot neironu tīklu ar nosaukumu SampleRNN.
Visbeidzot, viņi pārbaudīja rezultātus, lūdzot cilvēku vērtētājus novērtēt videoklipam pievienotās skaņas kvalitāti un noteikt, vai tā ir īsta vai mākslīgi radīta.
Rezultāti liecina, ka mašīnas var kļūt diezgan labas, lai veiktu šo uzdevumu. Mūsu eksperimenti liecina, ka ģenerētās skaņas ir diezgan reālistiskas un tām ir laba laika sinhronizācija ar vizuālo ievadi, saka Džou un citi.
Un cilvēku vērtētāji, šķiet, piekrīt. Novērtējumi liecina, ka vairāk nekā 70% no mūsu modeļu radītās skaņas var likt cilvēkiem domāt, ka viņi ir īsti, saka Džou un citi.
Tas ir interesants darbs, kas paver ceļu automatizētai skaņas rediģēšanai. Bieži sastopama problēma videoklipos ir tāda, ka svešs troksnis no avota ārpus ekrāna var sabojāt klipu. Tāpēc noderēs veids, kā automātiski aizstāt skaņu ar reālistisku, mašīnas radītu alternatīvu.
Un ar Adobe iesaistīšanos šajā izpētē, iespējams, nepaies ilgs laiks, kad mēs redzēsim šāda veida iespējas komerciālā video rediģēšanas programmatūrā.
Atsauce: arxiv.org/abs/1712.01393 : no vizuālā līdz skaņai: dabiskas skaņas ģenerēšana videoklipiem savvaļā