211service.com
AAD22L: Eiropā atklāta automātiska akronīmu noteikšana 22 valodās
Mums visiem ir bijusi pieredze, lasot ziņojumu, zinātnisku rakstu vai vienkārši garu ziņu rakstu, ko sabojā TMUA (Pārāk daudz nevajadzīgu akronīmu). Autors ievada vienu akronīmu pirmajā rindkopā, citus otrajā un trešajā daļā, kas noved pie pēdējā rindkopas, kas ir tikai nesaprotamu lielo burtu secība.
Šodien mēs esam saņēmuši palīdzību, pateicoties Maudas Ermanes darbam Romas Sapienza Universitātē Itālijā un dažiem draugiem, kuri ir izstrādājuši teksta analizatoru, kas atpazīst vairāk nekā 1 miljonu akronīmu 22 dažādās valodās. Šis darbs ir daļa no plašākiem centieniem analizēt ziņu saturu, lai izsekotu plašsaziņas līdzekļu atspoguļojumam par organizācijām, uzņēmumiem, valdībām un tā tālāk.
Uzdevums atrast akronīmus tekstā ir samērā vienkāršs. Šie puiši ir pielāgojuši algoritmu, kas sākotnēji tika izstrādāts, lai pamanītu akronīmus medicīnas tekstos angļu valodā. Tas meklē īsus izteicienus ar lielajiem burtiem iekavās un pieņem, ka vārdi, kas atrodas tieši pa kreisi no iekavām, ir akronīma garās formas paplašinājums.
Pēc tam algoritms filtrē rezultātus, lai noņemtu burtu secības, kas ietver tādas lietas kā valūtas simboli un atstarpe pēc pirmā burta un tā tālāk.
Tas noved pie dažām neizbēgamām problēmām. Tā notiek, ja algoritms vispār nespēj atpazīt akronīmu. Galvenais neatzīšanas iemesls ir gadījumi, kad akronīma īsā forma ir citā valodā nekā garā forma, piemēram, vācu valodā Vereinigte Nationen (UNO), kur vācu garajai formai seko angļu saīsinātā forma, saka Ērmans. un co. (UNO apzīmē Apvienoto Nāciju Organizāciju, kas angļu valodā plašāk pazīstama kā ANO.
Vēl viena problēma ir tad, kad algoritms atrod nepareizu akronīma garās formas versiju. Piemērs tam varētu būt Čārlzs Otjēno (CEO), un tas mēdz būt ar vispārīgiem akronīmiem, ko var attiecināt uz lielu skaitu cilvēku vai organizāciju.
Tomēr šīs problēmas ir nelielas, un algoritms kopumā darbojas labi. Ērmans un kolēģi apgalvo, ka atrod akronīmus ar precizitāti, kas lielāka par 90 procentiem visās 22 pārbaudītajās valodās, izņemot franču valodu (87 procenti).
Un viņi domā, ka tam vajadzētu labi darboties ar jebkuru valodu, kurā akronīmu apzīmēšanai tiek izmantots teksts ar lielajiem burtiem. Lai gan mums ir aizdomas, ka šī metode labi darbosies valodās, kurās tiek izmantots, piemēram, kirilicas vai grieķu alfabēts, tā, visticamāk, nedarbosies labi valodām, kurās tiek izmantoti arābu vai ebreju raksti, jo tie nenošķir lielos burtus.
Ērmans un citi plāno darbu vēl vairāk paplašināt. Viena no idejām ir atrast veidus, kā saistīt garās akronīmu formas dažādās valodās. Vēl viens veids ir atrast veidus, kā automātiski atpazīt un izprast akronīmus, kuriem nav pievienota to garā formas izvēršana (sarežģīta problēma pat cilvēkiem). Tas varētu būt iespējams, meklējot norādes no vietējā konteksta, taču tas ir ambiciozs mērķis.
Interesanti, ka trīs no četriem šī darba autoriem atrodas Kopīgajā pētniecības centrā, Eiropas Komisijas pētniecības laboratorijā Beļģijā. Valoda ir būtiska un dārga problēma Eiropas Savienības izpildinstitūcijai EK. Tai ir jāveicina saziņa starp cilvēkiem 28 valstīs, izmantojot 24 oficiālās valodas, izmaksājot aptuveni 330 miljonus eiro gadā jeb aptuveni 60 centus uz katru ES pilsoni.
Tāpēc pastāv ievērojama interese pēc iespējas vairāk automatizēt. Akronīmi ir mazs, bet noderīgs pirmais solis.
Atsauce: arxiv.org/abs/1309.6185 : akronīmu atpazīšana un apstrāde 22 valodās