Facebook AI sistēma var runāt ar Bila Geitsa balsi

Bils Geitss Džeks Teilors / Stringers / Getija

Mašīnruna ir zināma vilšanās. Pat labākajām teksta pārveides runā sistēmām ir mehāniska kvalitāte, un tām trūkst pamata intonācijas izmaiņu, ko izmanto cilvēki. Stīvena Hokinga daudz kopētā runas sistēma ir piemērs.

Tas ir pārsteigums, ņemot vērā milzīgos sasniegumus mašīnmācībā pēdējos gados. Protams, paņēmieniem, kas ir bijuši tik labi, lai atpazītu sejas un objektus un pēc tam radītu reālistiskus attēlus, būtu vienlīdz labi jāstrādā ar audio. Ne īsti.

Vismaz ne līdz šodienai. Piesakieties Šons Vaskess un Maiks Lūiss Facebook AI izpētē, kuri ir atraduši veidu, kā pārvarēt teksta pārvēršanas runā sistēmu ierobežojumus, lai radītu ārkārtīgi reālistiskus audio klipus, kas pilnībā ģenerēti ar mašīnu. Viņu iekārta, ko sauc par MelNet, ne tikai atveido cilvēka intonāciju, bet var to darīt tādā pašā balsī kā īsti cilvēki. Tāpēc komanda apmācīja to runāt tāpat kā Bils Geitss, cita starpā. Darbs paver iespēju reālistiskākai mijiedarbībai starp cilvēkiem un datoriem, taču tas arī rada jaunas viltus audio satura ēras rēgu.

Vispirms nedaudz fona. Reālistisku teksta pārvēršanas runā sistēmu lēnais progress nav saistīts ar mēģinājumu trūkumu. Daudzas komandas ir mēģinājušas apmācīt padziļinātas mācīšanās algoritmus, lai reproducētu reālus runas modeļus, izmantojot lielas audio datu bāzes.

Problēma ar šo pieeju, saka Vaskess un Lūiss, ir saistīta ar datu veidu. Līdz šim lielākā daļa darba bija vērsta uz audio viļņu formas ierakstiem. Tie parāda, kā laika gaitā mainās skaņas amplitūda, un katra ierakstītā audio sekunde sastāv no desmitiem tūkstošu laika soļu.

Šīs viļņu formas parāda īpašus modeļus vairākos dažādos mērogos. Piemēram, dažu sekunžu runas laikā viļņu forma atspoguļo raksturīgos modeļus, kas saistīti ar vārdu secībām. Bet mikrosekunžu skalā viļņu forma parāda īpašības, kas saistītas ar balss augstumu un tembru. Un citos mērogos viļņu forma atspoguļo runātāja intonāciju, fonēmas struktūru un tā tālāk.

Vēl viens veids, kā domāt par šiem modeļiem, ir korelācijas starp viļņu formu vienā laika posmā un nākamajā laika posmā. Tātad noteiktā laika skalā vārda sākumā esošā skaņa ir saistīta ar skaņām, kas seko.

Dziļās apmācības sistēmām vajadzētu būt labām, lai apgūtu šāda veida korelācijas un tās reproducētu. Problēma ir tā, ka korelācijas darbojas daudzos dažādos laika skalos, un padziļinātas apmācības sistēmas var pētīt korelācijas tikai ierobežotā laika skalā. Tas ir saistīts ar viņu izmantoto mācību procesa veidu, ko sauc par atpakaļejošu pavairošanu, kas vairākkārt pārveido tīklu, lai uzlabotu tā veiktspēju, pamatojoties uz redzamajiem piemēriem.

Atkārtošanās biežums ierobežo laika skalu, kurā var uzzināt korelācijas. Tātad padziļinātas apmācības tīkls var apgūt korelācijas audio viļņu formās ilgā laika posmā vai īsos laika posmos, bet ne abos. Tāpēc viņiem tik slikti padodas runas reproducēšana.

Vaskesam un Lūisam ir atšķirīga pieeja. Audio viļņu formu vietā viņi izmanto spektrogrammas, lai apmācītu savu dziļo mācību tīklu. Spektrogrammas ieraksta visu audio frekvenču spektru un to, kā tās mainās laika gaitā. Tātad, lai gan viļņu formas fiksē viena parametra, amplitūdas, izmaiņas laika gaitā, spektrogrammas uztver izmaiņas milzīgā dažādu frekvenču diapazonā.

Tas nozīmē, ka šāda veida datu attēlojumā audio informācija tiek iesaiņota blīvāk. Spektrogrammas laika ass ir daudz kompaktāka nekā viļņu formai, kas nozīmē, ka atkarības, kas viļņu formās aptver desmitiem tūkstošu laika soļu, spektrogrammās aptver tikai simtus laika soļus, saka Vaskess un Lūiss.

Tas padara korelācijas pieejamākas dziļas apmācības sistēmai. Tas ļauj mūsu spektrogrammu modeļiem ģenerēt beznosacījumu runas un mūzikas paraugus ar konsekvenci vairāku sekunžu laikā, viņi saka.

Un rezultāti ir iespaidīgi. Pēc tam, kad sistēma ir apmācīta, izmantojot parasto runu no TED sarunām, MelNet dažu sekunžu laikā spēj reproducēt TED runātāja balsi, kas saka vairāk vai mazāk jebko. Facebook pētnieki demonstrē tā elastību, izmantojot Bila Geitsa TED sarunu, lai apmācītu MelNet un pēc tam izmantotu viņa balsi, lai pateiktu vairākas nejaušas frāzes.

Šī sistēma saka: Mēs saraucam pieri, kad notikumi pagriežas slikti, un portvīns ir spēcīgs vīns ar dūmu garšu. Citi piemēri ir šeit.

Mēs saraucam pieri, kad notikumi pagriežas slikti

portvīns ir spēcīgs vīns ar dūmu garšu

Protams, ir daži ierobežojumi. Parastā runa satur korelācijas pat ilgākā laika skalā. Piemēram, cilvēki izmanto izmaiņas intonācijā, lai norādītu uz izmaiņām tēmā vai noskaņojumā, stāstiem attīstoties desmitiem sekunžu vai minūšu laikā. Šķiet, ka Facebook mašīna to vēl nespēj.

Tātad, lai gan MelNet var izveidot ārkārtīgi reālistiskas frāzes, komanda vēl nav pilnveidojusi garākus teikumus, rindkopas vai veselus stāstus. Šķiet, ka tas nav mērķis, kas, visticamāk, tiks sasniegts drīz.

Tomēr darbam varētu būt būtiska ietekme uz cilvēka un datora mijiedarbību. Daudzas sarunas ietver tikai īsas frāzes. Tālruņu operatori un it īpaši palīdzības dienesti var iztikt ar virkni salīdzinoši īsu frāžu. Tātad šī tehnoloģija varētu automatizēt šīs mijiedarbības tādā veidā, kas ir daudz līdzīgāks cilvēkiem nekā pašreizējās sistēmas.

Tomēr šobrīd Vaskess un Lūiss par potenciālajiem pieteikumiem ir šauri.

Un kā vienmēr, ir iespējamas problēmas ar dabiskas skaņas iekārtām, īpaši tādām, kas var droši atdarināt cilvēkus. Nav vajadzīga liela iztēle, lai izsapņotu scenārijus, kuros šo tehnoloģiju varētu izmantot ļaunumam. Un šī iemesla dēļ tas ir vēl viens ar AI saistīts progress, kas rada vairāk ētisku jautājumu, nekā sniedz atbildes.

Atsauce: arxiv.org/abs/1906.01083 : MelNet: ģeneratīvs audio modelis frekvenču domēnā

paslēpties