Karalis – vīrietis + sieviete = karaliene: brīnišķīgā skaitļošanas lingvistikas matemātika

Datorlingvistika ir krasi mainījusi veidu, kā pētnieki pēta un saprot valodu. Spēja pirmo reizi saskaitīt lielu daudzumu vārdu ir radījusi pilnīgi jaunus veidus, kā domāt par vārdiem un to savstarpējām attiecībām.

Šī skaitļu noteikšana precīzi parāda, cik bieži vārds ir tuvu citiem vārdiem, kas ir svarīgs faktors to lietošanā. Tātad vārds Olimpiskās spēles var parādīties tuvu tādiem vārdiem kā skriešana, lēkšana un mešana, bet retāk blakus tādiem vārdiem kā elektrons vai stegozaurs. Šo attiecību kopumu var uzskatīt par daudzdimensionālu vektoru, kas apraksta, kā vārds olimpiāde tiek lietots valodā, kuru var uzskatīt par vektoru telpu.

Un tur slēpjas šīs milzīgās pārmaiņas. Šī jaunā pieeja ļauj valodas apstrādāt kā vektoru telpas ar precīzām matemātiskām īpašībām. Tagad valodas izpēte kļūst par vektortelpas matemātikas problēmu.

Mūsdienās Timotijs Boldvins no Melburnas universitātes Austrālijā un daži draugi pēta vienu no šīs vektoru telpas ziņkārīgajām matemātiskajām īpašībām: vektoru pievienošana un atņemšana rada citu vektoru tajā pašā telpā.

Jautājums, ko viņi risina, ir šāds: ko nozīmē šie saliktie vektori? Un, pētot šo jautājumu, viņi atklāj, ka atšķirība starp vektoriem ir spēcīgs instruments valodas un vārdu attiecību pētīšanai.

Vispirms nedaudz fona. Vienkāršākais veids, kā domāt par vārdiem un to, kā tos pievienot un atņemt kā vektorus, ir piemērs. Slavenākais ir šāds: karalis - vīrietis + sieviete = karaliene. Citiem vārdiem sakot, ar vārdiem saistīto vektoru pievienošana karalis un sieviete vienlaikus atņemot vīrietis ir vienāds ar vektoru, kas saistīts ar karaliene . Tas raksturo dzimumu attiecības.

Vēl viens piemērs ir: Parīze – Francija + Polija = Varšava. Šajā gadījumā vektoru atšķirība starp Parīze un Francija atspoguļo galvaspilsētas jēdzienu.

Boldvins un citi jautā, cik uzticama var būt šī pieeja un cik tālu to var sasniegt. Lai to izdarītu, viņi salīdzina, kā mainās vektoru attiecības atbilstoši pētītajam vārdu korpusam. Piemēram, vai Vikipēdijas vārdu korpusā darbojas tās pašas vektoru attiecības kā vārdu korpusā no Google News vai Reuters angļu ziņu vada?

Lai to noskaidrotu, viņi aplūko vektorus, kas saistīti ar vairākām labi zināmām attiecībām starp vārdu klasēm. Tie ietver attiecības starp entītiju un tās daļām, piemēram, lidmašīnu un kabīni; darbība un ar to saistīts objekts, piemēram, medības un brieži; lietvārds un tā kolektīvais lietvārds tāds skudra un armija. Tie ietver arī virkni gramatisko saišu — lietvārdu un tā daudzskaitļa formu, piemēram, suns un suņi, darbības vārdu un tā pagātnes laiku, piemēram, zināt un zināt; un darbības vārds un tā daudzskaitļa trešā persona, piemēram, pieņemt un pieņemt.

Rezultāti rada interesantu lasīšanu. Boldvins un kolēģi saka, ka šajās attiecībās iegūtās vektoru summas parasti veido ciešas kopas vektoru telpās, kas saistītas ar katru korpusu.

Tomēr ir dažas interesantas novirzes, kurās vārdiem ir vairāk nekā viena nozīme, un tāpēc tiem ir neviennozīmīgi attēlojumi šajās vektoru telpās. Piemēri daudzskaitļa trešās personas klasterī ir pētījums un pētījumi, palaišana un palaišana, palielināšana un palielināšana, visi vārdi, kas var būt lietvārdi un darbības vārdi, kas izkropļo to vektorus šajās telpās.

Tas ir interesants darbs, kas virzās pa šo jauno ceļu, pētot vārdus un to savstarpējās attiecības. Šis raksts ir pirmais, kas pārbauda vektoru atšķirību pieejas vispārināmību plašā leksisko attiecību diapazonā, viņi saka.

Svarīgs jautājums, ko Boldvins un citi atstāj novārtā, ir tas, kā šo labāko izpratni varētu izmantot reālajā pasaulē. Viena acīmredzama atbilde ir palīdzēt mašīnām saprast cilvēku valodu. Vēl viens ir palīdzēt ar valodas tulkošanu.

Ir vērts atzīmēt, ka viens no pionieriem un virzītājspēkiem šajā jomā ir Google un tā mašīntulkošanas komanda. Šie puiši ir atklājuši, ka vektoru attiecības, kas parādās angļu valodā, parasti darbojas arī spāņu, vācu, vjetnamiešu un pat visās valodās.

Tādā veidā Google veic mašīntulkošanu. Būtībā tā uzskata teikuma ekvivalentu divās valodās, ja tā pozīcija katras vektoru telpās ir vienāda. Izmantojot šo pieeju, tās tradicionālā nozīme ir gandrīz nenozīmīga.

Taču valodas savdabīgā rakstura dēļ ir daudz izņēmumu. Tieši tie rada problēmas mašīntulkošanas algoritmiem.

Tātad, meklējot veidus, kā atklāt neskaidrības, tas var būt noderīgs veids, kā novērst šīs problēmas.

Atsauce: arxiv.org/abs/1509.01692 : Ņem un paņēma, ķeksē un zoss, Grāmatu un lasi: vektoru atšķirību lietderības novērtējums leksisko attiecību apguvei

paslēpties