Lingvistikas izrāvienu vēstneši Mašīntulkošana tūkstošiem retu valodu

Labākais minējums ir tāds, ka cilvēki pašlaik runā aptuveni 6900 dažādās valodās. Vairāk nekā puse pasaules iedzīvotāju sazinās, izmantojot tikai dažus no tiem — ķīniešu, angļu, hindi, spāņu un krievu valodu. Patiešām, 95 procenti cilvēku sazinās, izmantojot tikai 100 valodas.

Pārējie argoti ir daudz retāk sastopami. Patiešām, valodnieki lēš, ka apmēram trešdaļu pasaules valodu runā mazāk nekā 1000 cilvēku, un tuvāko 100 gadu laikā tām draud izmiršana. Kopā ar tiem dosies unikālais kultūras mantojums, ko viņi iemieso — stāsti, frāzes, joki, augu izcelsmes zāles un pat unikālas emocijas.

Ir viegli domāt, ka mašīnmācība var palīdzēt. Problēma ir tā, ka mašīntulkošana ir atkarīga no milzīgām anotētām datu kopām, lai nodrošinātu savu tirdzniecību. Šīs datu kopas sastāv no plašiem grāmatu, rakstu un vietņu korpusiem, kas ir manuāli tulkoti citās valodās. Tas darbojas kā Rosetta akmens mašīnmācības algoritmiem, un jo lielāka datu kopa, jo labāk viņi mācās.

Karte, kurā parādīts pagātnes laika rādītāju kopums 100 izmeklētajām valodām.

Taču šīs milzīgās datu kopas vairumam valodu vienkārši nepastāv. Tāpēc mašīntulkošana darbojas tikai nelielai daļai visizplatītāko lingo. Piemēram, Google tulkotājs runā tikai aptuveni 90 valodās.

Tāpēc valodnieku svarīgs izaicinājums ir atrast veidu, kā automātiski analizēt mazāk izplatītas valodas, lai tās labāk izprastu.

Šodien Ehsaneddins Asgari un Hinrihs Šutze Minhenes Ludviga Maksimiliāna universitātē Vācijā apgalvo, ka viņi to ir izdarījuši. Viņu jaunā pieeja atklāj svarīgus gandrīz jebkuras valodas elementus, kurus pēc tam var izmantot kā atspēriena punktu mašīntulkošanai.

Jaunā tehnika ir balstīta uz vienu tekstu, kas ir tulkots vismaz 2000 dažādās valodās. Tā ir Bībele, un valodnieki jau sen ir atzinuši tās nozīmi savā disciplīnā.

Līdz ar to viņi ir izveidojuši datubāzi ar nosaukumu Parallel Bible Corpus, kas sastāv no Jaunās Derības tulkojumiem 1169 valodās. Šī datu kopa nav pietiekami liela tāda veida rūpnieciskai mašīnmācībai, kādu veic Google un citi. Tāpēc Asgari un Schutze ir izstrādājuši citu pieeju, kas balstīta uz veidu, kā dažādās valodās parādās laiki.

Lielākajā daļā valodu laiku apzīmēšanai tiek izmantoti īpaši vārdi vai burtu kombinācijas. Tātad jaunais triks ir manuāli identificēt šos signālus vairākās valodās un pēc tam izmantot datu ieguves metodes, lai meklētu citus tulkojumus, meklējot vārdus vai burtu virknes, kurām ir tāda pati loma.

Piemēram, angļu valodā tagadnes laiku apzīmē ar vārdu ir, nākotnes laiku ar vārdu will un pagātnes laiku ar vārdu bija. Protams, ir arī citi apzīmētāji.

Asgari un Šuces ideja ir atrast visus šos vārdus Bībeles tulkojumā angļu valodā, kā arī citus piemērus no dažām citām valodām. Pēc tam meklējiet vārdu vai burtu virknes, kurām ir tāda pati loma citās valodās. Piemēram, burtu virkne -ed angļu valodā apzīmē arī pagātnes laiku.

Bet ir pagrieziens. Asgari un Schutze nesākas ar angļu valodu, jo tā ir salīdzinoši veca valoda ar daudziem izņēmumiem no noteikuma, kas apgrūtina tās mācīšanos.

Tā vietā tie sākas ar kreoliešu valodu kopu, kas attīstījās no citu valodu sajaukšanas. Tā kā tās ir jaunākas, kreolu valodām ir bijis mazāk laika, lai attīstītu šīs lingvistiskās īpatnības. Un tas nozīmē, ka tie parasti satur labākus lingvistisko iezīmju marķierus, piemēram, sasprindzinājumu. Mūsu pamatojums ir tāds, ka kreoliešu valodas ir regulārākas nekā citas valodas, jo tās ir jaunas un nav uzkrājušas “vēsturisko bagāžu”, kas var apgrūtināt skaitļošanas analīzi, viņi saka.

Viena no šīm valodām ir Seišelu salu kreols, kas lieto vārdu ti, lai apzīmētu pagātnes laiku. Piemēram, mon travay nozīmē, ka es strādāju šajā valodā, savukārt mon ti travay nozīmē, ka es strādāju, un mon ti pe travay nozīmē, ka es strādāju. Tātad ti ir labs pagātnes laika apzīmētājs.

Asgari un Schutze sastāda pagātnes laika apzīmētāju sarakstu 10 citās valodās un pēc tam iegūst Paralēlās Bībeles korpusu citiem vārdiem un burtu virknēm, kas veic to pašu funkciju. Viņi to atkārto tagadnes un nākotnes laikam.

Rezultāti rada interesantu lasīšanu. Šis paņēmiens atklāj lingvistikas konstrukcijas, kas saistītas ar laiku tādās kopvalodās kā -ed angļu valodā un -te vācu valodā, kā arī vārdus un frāzes, kas veic tās pašas funkcijas daudz retāk sastopamās valodās, piemēram, pagātnes laika apzīmētājs den Gourmanchema. valoda no Burkinofaso un yi Jalunkā, runā Mali un tā tālāk.

Šis darbs ļauj pētniekiem izveidot kartes, kas parāda, kā valodas, kas izmanto līdzīgas saspringtas konstrukcijas, ir saistītas (sk. diagrammu).

Tas ir interesants darbs. Asgari un Schutze ir izstrādājuši skaitļošanas metodi, lai analizētu veidu, kā cilvēki izmanto pagātnes, tagadnes un nākotnes laiku vairāk nekā 1000 valodās. Šis ir lielākais starpvalodu skaitļošanas pētījums, kāds jebkad veikts. Patiešām, iesaistīto valodu skaits ir par kārtu lielāks nekā citos pētījumos.

Darbam ir ievērojams pielietojums. Valodu sasprindzinājuma kartes ļauj pētniekiem ātri noskaidrot valodu attiecības un to saistību. To varētu izmantot, lai labāk izprastu valodas evolūciju.

Un to pašu pieeju varētu izmantot arī citām valodas pazīmēm. Mēs tikai pieprasām, lai lingvistiskā iezīme būtu atklāti atzīmēta dažās no tūkstošiem valodu, nevis prasība, lai tā būtu atzīmēta visās izmeklējamajās valodās, saka Asgari un Schutze.

Sekas sniedzas tālāk. Datorlingvistikai ir bijusi liela ietekme uz mūsu izpratni par valodu, to, kā tā atšķiras visā pasaulē un kā mašīnas to var saprast. Šī jaunā disciplīna ir ļāvusi automātiski tulkot daudzas valodas tieši citās rakstiski un runātā veidā. Patiešām, solījums ir tāds, ka tūlītējā mašīntulkošana drīz sasniegs un pēc tam pārsniegs cilvēku tulku spējas.

Taču mašīntulkošanas lietderība noteiktām valodām padara tās populārākas uz to valodu rēķina, par kurām netiek pievērsta uzmanība. Tāpēc mašīntulkošana varētu paātrināt apdraudēto valodu izzušanu.

Patiešām, valodnieki ir redzējuši līdzīgu parādību ar citiem masu komunikācijas veidiem, piemēram, satelīta TV pakalpojumiem. Tie parasti tiek pārraidīti vienā valodā, kas pēc tam kļūst vēlamāka un populārāka nekā valodas, kuras netiek pārraidītas.

Asgari un Schutze darbs varētu palīdzēt mainīt šo lejupslīdes modeli. Protams, tas ir liels solis no šī darba līdz precīzai mašīntulkošanai, taču tas ir solis pareizajā virzienā.

Atsauce: arxiv.org/abs/1704.08914 : pagātne, tagadne, nākotne: sasprindzinājuma tipoloģijas skaitļošanas izpēte 1000 valodās

paslēpties