Padziļināta apmācība pārvērš mono ierakstus ieskaujošā skaņā

Semjuels Diksons | Atbrīvojieties no šļakatām

Klausieties putna dziedāšanu tuvējā kokā, un jūs varat salīdzinoši ātri noteikt tā aptuveno atrašanās vietu, neskatoties. Klausieties automašīnas dzinēja rūkoņu, šķērsojot ceļu, un parasti jūs uzreiz varat saprast, vai tas ir aiz jums.

Cilvēka spēja noteikt skaņu trīsdimensiju telpā ir ārkārtēja. Šī parādība ir labi saprotama — tā ir mūsu ausu asimetriskās formas un attāluma starp tām rezultāts.

Bet, lai gan pētnieki ir iemācījušies izveidot 3D attēlus, kas viegli apmāna mūsu vizuālās sistēmas, neviens nav atradis apmierinošu veidu, kā radīt sintētiskas 3D skaņas, kas pārliecinoši apmāna mūsu skaņas sistēmas.

Šodien šķiet, ka tas vismaz daļēji mainīsies, pateicoties Ruohan Gao darbam Teksasas Universitātē un Kristenas Graumanes darbam Facebook Research. Viņi ir izmantojuši triku, ko arī cilvēki izmanto, lai iemācītu AI sistēmai pārvērst parastās mono skaņas diezgan labā 3D skaņā. Pētnieki to sauc par 2,5D skaņu.

Vispirms nedaudz fona. Smadzenes izmanto dažādas norādes, lai noteiktu, no kurienes 3D telpā nāk skaņa. Viena svarīga norāde ir atšķirība starp skaņas nonākšanas laiku katrā ausī — starpfonu laika atšķirība.

Skaņa, kas rodas no jūsu kreisās puses, acīmredzami nonāks jūsu kreisajā ausī pirms labās puses. Un, lai gan jūs neapzināties šo atšķirību, smadzenes to izmanto, lai noteiktu, no kurienes skaņa nākusi.

Vēl viena norāde ir apjoma atšķirība. Šī pati skaņa būs skaļāka kreisajā ausī nekā labajā, un smadzenes izmanto arī šo informāciju, lai veiktu aprēķinus. To sauc par interaurālo līmeņu atšķirību.

Šīs atšķirības ir atkarīgas no attāluma starp ausīm. Stereo ieraksti neatveido šo efektu, jo stereomikrofonu atdalīšana tam neatbilst.

Svarīgs ir arī veids, kā skaņa mijiedarbojas ar ausu atlokiem. Atloki kropļo skaņu tādos veidos, kas ir atkarīgi no virziena, no kura tā nāk. Piemēram, skaņa no priekšpuses sasniedz auss eju pirms atsitoties pret auss atloku. Turpretim to pašu skaņu, kas nāk no aiz galvas, izkropļo auss atloks, pirms tā sasniedz auss kanālu.

Arī smadzenes var sajust šīs atšķirības. Faktiski auss asimetriskā forma ir iemesls, kāpēc mēs varam noteikt, kad skaņa nāk, piemēram, no augšas vai no daudziem citiem virzieniem.

3D skaņas mākslīgas reproducēšanas viltība ir reproducēt visas šīs ģeometrijas ietekmi uz skaņu. Un tā ir smaga problēma.

Viens veids, kā izmērīt kropļojumu, ir binaurālais ieraksts. Šis ir ieraksts, kas tiek veikts, katrā ausī ievietojot mikrofonu, kas var uztvert šīs mazās variācijas.

Analizējot variācijas, pētnieki var tās reproducēt, izmantojot matemātisko algoritmu, kas pazīstams kā ar galvu saistīta pārsūtīšanas funkcija. Tas pārvērš jebkuru parasto austiņu pāri par neparastu 3D skaņas iekārtu.

Bet, tā kā katra ausis ir atšķirīgas, ikviens dzird skaņu savādāk. Tādējādi, izveidojot ar galvu saistītu pārsūtīšanas funkciju, pirms ieraksta atskaņošanas ir jāizmēra cilvēka ausu forma. Un, lai gan to var izdarīt laboratorijā, neviens nav izstrādājis, kā to izdarīt savvaļā.

Tomēr ir veidi, kā tuvināt 3D skaņu, izmantojot skaņas kropļojumus, kas nav atkarīgi no auss formas — starpfonu laika un līmeņa atšķirībām.

Graumana un Gao izmantotais triks ir noteikt, kādā virzienā skaņa nāk, izmantojot vizuālas norādes (kā to bieži dara arī cilvēki). Tātad, ņemot vērā ainas video un mono skaņas ierakstu, mašīnmācīšanās sistēma nosaka, no kurienes nāk skaņas, un pēc tam izkropļo starpfonu laika un līmeņa atšķirības, lai radītu šo efektu klausītājam.

Piemēram, iedomājieties video, kurā redzams mūziķu pāris, kas spēlē bungas un klavieres. Ja bungas atrodas skata lauka kreisajā pusē un klavieres labajā pusē, ir vienkārši pieņemt, ka bungu skaņām jānāk no kreisās puses un klavierēm no labās puses. Tieši to dara šī mašīnmācīšanās sistēma, attiecīgi kropļojot skaņu.

Pētnieku apmācības metode ir samērā vienkārša. Pirmais solis jebkuras mašīnmācīšanās sistēmas apmācībā ir izveidot datu bāzi ar piemēriem par efektiem, kas tai jāapgūst. Grauman un Gao izveidoja vienu, veicot binaurālos ierakstus vairāk nekā 2000 mūzikas klipu, kurus viņi arī filmēja.

Viņu binaurālais ierakstītājs sastāv no sintētisko ausu pāra, kas atdalītas ar cilvēka galvas platumu, kas arī ieraksta ainu priekšā, izmantojot GoPro kameru.

Pēc tam komanda izmantoja šos ierakstus, lai apmācītu mašīnmācības algoritmu, lai atpazītu, no kurienes nāk skaņa, ņemot vērā ainas video. Pēc tam, kad tas ir iemācījies, tas spēj noskatīties video un pēc tam kropļot monofonisko ierakstu tādā veidā, kas simulē, no kurienes skaņai vajadzētu nākt. Mēs saucam iegūto izvadi par 2,5 D vizuālo skaņu — vizuālā straume palīdz “pacelt” plakano viena kanāla audio telpiskā skaņā, saka Graumans un Gao.

Rezultāti ir iespaidīgi. Jūs varat skatīties video par viņu darbu šeit — skatīšanās laikā noteikti nēsājiet austiņas.

Video salīdzina 2,5D ierakstu rezultātus ar monofonisko ierakstu un parāda, cik labi tas var būt. Paredzamā 2,5 D vizuālā skaņa piedāvā iespaidīgāku audio pieredzi, saka Graumans un Gao.

Tomēr tas nerada pilnu 3D skaņu iepriekš minēto iemeslu dēļ — pētnieki neizveido personalizētu ar galvu saistītu pārsūtīšanas funkciju.

Un ir dažas situācijas, ar kurām algoritmam ir grūti tikt galā. Acīmredzot sistēma nevar tikt galā ar nevienu skaņas avotu, kas nav redzams videoklipā. Tas nevar tikt galā arī ar skaņas avotiem, ko tas nav apmācīts atpazīt. Šī sistēma galvenokārt ir vērsta uz mūzikas videoklipiem.

Tomēr Graumanam un Gao ir gudra ideja, kas labi darbojas daudzos mūzikas videoklipos. Un viņiem ir ambīcijas paplašināt tā pielietojumu. Mēs plānojam izpētīt veidus, kā iekļaut objektu lokalizāciju un kustību, kā arī skaidri modelēt ainas skaņas, viņi saka.

Atsauce: arxiv.org/abs/1812.04204 : 2.5D vizuālā skaņa

paslēpties