Google AI tagad var tulkot jūsu runu, vienlaikus saglabājot jūsu balsi

Attēls, kurā redzams ANO ģenerālsekretārs Bans Kimuns, kurš klausās tulkošanas ierīci EMILIO MORENATTI / AP

Klausieties šo spāņu audio klipu.

Šādi varētu izklausīties tā tulkojums angļu valodā, izmantojot tradicionālo automatizēto tulkošanas sistēmu.

Tagad tas izklausās šādi, izmantojot Google jauno automatizēto tulkošanas sistēmu.

Rezultāti nav ideāli, taču jūs varat dzirdēt, kā Google tulkotājs spēja saglabāt oriģinālā runātāja balsi un toni. To var izdarīt, jo tas pārvērš audio ievadi tieši par audio izvadi bez jebkādiem starpposmiem . Turpretim tradicionālās tulkošanas sistēmas audio pārveido tekstā, tulko tekstu un pēc tam atkārtoti sintezē audio, pa ceļam zaudējot sākotnējās balss īpašības.

Jaunā sistēma, saukta par Translatotron, ir trīs komponenti, kas visi aplūko skaļruņa audio spektrogrammu — skaņas atskaņošanas laikā izmantoto frekvenču vizuālu momentuzņēmumu, ko bieži sauc par balss nospiedumu. Pirmais komponents izmanto neironu tīklu, kas apmācīts, lai kartētu audio spektrogrammu ievades valodā ar audio spektrogrammu izvades valodā. Otrais pārvērš spektrogrammu audio vilnī, ko var atskaņot. Pēc tam trešais komponents var slāņot sākotnējā skaļruņa balss īpašības atpakaļ galīgajā audio izvadē.

Šī pieeja ne tikai nodrošina niansētākus tulkojumus, saglabājot svarīgas neverbālās norādes, bet teorētiski tai arī jāsamazina tulkošanas kļūdas, jo tā samazina uzdevumu līdz mazākam soļu skaitam.

Translatotron pašlaik ir koncepcijas pierādījums. Pārbaudes laikā pētnieki izmēģināja sistēmu tikai ar tulkojumu no spāņu uz angļu valodu, kas jau prasīja daudz rūpīgi atlasītu apmācības datu. Taču audio izvadi, piemēram, iepriekš minētajā klipā, parāda komerciālas sistēmas potenciālu vēlāk. Jūs varat klausīties vairāk no tiem šeit .

paslēpties