Cilvēku tulki joprojām ir vadošie — pagaidām

Jūs, iespējams, esat palaidis garām šampanieša korķu uzplaiksnīšanu un līmlentes lietu, taču pēdējos mēnešos skaitļošanas lingvisti ir sākuši apgalvot, ka neironu mašīntulkošana tagad atbilst cilvēku tulkotāju veiktspējai.

Neironu tīkla izmantošanas tehnika teksta tulkošanai no vienas valodas citā pēdējos gados ir strauji uzlabojusies, pateicoties nepārtrauktajiem sasniegumiem mašīnmācībā un mākslīgajā intelektā. Tāpēc nav īsti pārsteigums, ka mašīnas ir pietuvojušās cilvēku veiktspējai. Patiešām, skaitļošanas lingvistiem ir labi pierādījumi, lai atbalstītu šo apgalvojumu.

Taču šodien Samuels Laubli no Cīrihes universitātes un pāris kolēģi saka, ka šampanietim vajadzētu atgriezties uz ledus. Viņi neapstrīd savu kolēģu rezultātus, bet saka, ka testēšanas protokolā nav ņemts vērā veids, kā cilvēki lasa visus dokumentus. Kad tas tiek novērtēts, mašīnas ievērojami atpaliek no cilvēkiem, viņi saka.

Jautājums ir par to, kā būtu jānovērtē mašīntulkošana. Pašlaik tas tiek darīts, pamatojoties uz diviem pasākumiem: atbilstība un plūstamība. Tulkojuma atbilstību nosaka profesionāli tulkotāji, kuri lasa gan oriģināltekstu, gan tulkojumu, lai redzētu, cik labi tas izsaka avota nozīmi. Raidumu vērtē vienvalodīgi lasītāji, kuri redz tikai tulkojumu un nosaka, cik labi tas ir izteikts angļu valodā.

Skaitļošanas lingvisti piekrīt, ka šī sistēma sniedz noderīgus vērtējumus. Bet saskaņā ar Laubli un co, pašreizējais protokols salīdzina tikai tulkojumus teikuma līmenī, bet cilvēki arī novērtē tekstu dokumenta līmenī.

Tāpēc viņi ir izstrādājuši jaunu protokolu, lai salīdzinātu mašīntulkotāju un cilvēku tulkotāju veiktspēju dokumentu līmenī. Viņi lūdza profesionāliem tulkotājiem novērtēt, cik labi mašīnas un cilvēki ir pārtulkojuši vairāk nekā 100 ķīniešu valodā rakstītus ziņu rakstus angļu valodā. Eksaminētāji novērtēja katra tulkojuma atbilstību un raitumu teikuma līmenī, bet īpaši arī visa dokumenta līmenī.

Rezultāti rada interesantu lasīšanu. Sākumā Laubli un citi neatrada nekādas būtiskas atšķirības tajā, kā profesionāli tulki novērtēja mašīntulkotu un cilvēku tulkoto teikumu atbilstību. Ar šo rādītāju cilvēki un mašīnas ir vienlīdz labi tulkotāji, kas atbilst iepriekšējiem atklājumiem.

Tomēr, ja runa ir par visa dokumenta novērtēšanu, cilvēka veiktie tulkojumi tiek novērtēti kā adekvātāki un raitāki nekā mašīntulkojumi. Viņi saka, ka cilvēku vērtētāji, novērtējot atbilstību un plūdumu, vairāk dod priekšroku cilvēka tulkošanai, nevis mašīntulkošanai, vērtējot dokumentus, salīdzinot ar atsevišķiem teikumiem.

Pētnieki domā, ka viņi zina, kāpēc. Mēs izvirzām hipotēzi, ka dokumenta līmeņa novērtējums atklāj tādas kļūdas kā neskaidra vārda nepareizs tulkojums vai kļūdas, kas saistītas ar teksta kohēziju un saskaņotību, kuras joprojām ir grūti vai neiespējami pamanīt teikuma līmeņa novērtējumā.

Piemēram, komanda sniedz piemēru par jaunu lietotni ar nosaukumu 微信挪 车, ko cilvēki konsekventi tulko kā WeChat Move the Car, bet ko mašīnas bieži tulko vairākos dažādos veidos vienā un tajā pašā rakstā. Mašīnas tulko šo frāzi kā Twitter Move Car, WeChat mobile un WeChat Move. Šāda veida nekonsekvence, saka Laubli un co, padara dokumentus grūtāk izsekojamus.

Tas liek domāt, ka mašīntulkošanas novērtēšanas veidam ir jāattīstās no sistēmas, kurā mašīnas katru teikumu izskata atsevišķi.

Uzlabojoties mašīntulkošanas kvalitātei, tulkojumi kļūs grūtāk diskriminējami kvalitātes ziņā, un var būt laiks pāriet uz dokumentu līmeņa vērtēšanu, kas sniedz vērtētājiem vairāk konteksta, lai saprastu oriģinālo tekstu un tā tulkojumu, kā arī atklāj ar tulkojumu saistītās kļūdas. runāt par parādībām, kas paliek neredzamas teikuma līmeņa vērtējumā, saka Laubli u.c.

Šīm izmaiņām vajadzētu palīdzēt uzlabot mašīntulkošanu. Tas nozīmē, ka tas joprojām pārspēs cilvēka tulkošanu — tikai vēl ne.

Atsauce: arxiv.org/abs/1808.07048 : Vai mašīntulkošana ir sasniegusi cilvēku vienlīdzību? Piemērs dokumentu līmeņa novērtēšanai

paslēpties