Kā mehāniskie turkeri pūlī ieguva milzīgu vārdu un emociju saikņu leksikonu

Viena no populārākajām frāzēm, kas saistīta ar sociālo tīmekli, ir sentimenta analīze. Tā ir iespēja noteikt cilvēka viedokli vai prāta stāvokli, analizējot vārdus, ko viņi ievieto Twitter, Facebook vai kādā citā medijā.

Ar šo metodi ir apsolīts daudz – spēja izmērīt apmierinātību ar politiķiem, filmām un produktiem; spēja labāk vadīt attiecības ar klientiem; prasme veidot dialogu emociju apzinošām spēlēm; spēja izmērīt emociju plūsmu romānos; un tā tālāk.

Ideja ir pilnībā automatizēt šo procesu — analizēt sociālo vietņu radīto vārdu virkni, izmantojot progresīvas datu ieguves metodes, lai novērtētu noskaņojumu plašā mērogā.

Bet tas viss ir atkarīgs no tā, cik labi mēs saprotam emocijas un polaritāti (neatkarīgi no tā, vai tās ir negatīvas vai pozitīvas), ko cilvēki saista ar katru vārdu vai vārdu kombinācijām.

Šodien Saifs Mohammads un Pīters Tērnijs Kanādas Nacionālajā pētniecības padomē Otavā atklāj milzīgu vārdu datu bāzi un ar tiem saistītās emocijas un polaritāti, ko viņi ir ātri un lēti apkopojuši, izmantojot Amazon pūļa avotu Mechanical Turk vietni. Viņi saka, ka šis pūļa piegādes mehānisms ļauj ātri un vienkārši palielināt datubāzes lielumu un kvalitāti.

Lielākā daļa psihologu uzskata, ka būtībā ir sešas pamata emocijas – prieks, skumjas, dusmas, bailes, riebums un pārsteigums – vai ne vairāk kā astoņas, ja iekļaujat uzticību un gaidas. Tātad jebkura vārdu-emociju leksikas uzdevums ir noteikt, cik spēcīgi vārds ir saistīts ar katru no šīm emocijām.

Viens veids, kā to izdarīt, ir izmantot nelielu ekspertu grupu, lai emocijas saistītu ar vārdu kopu. Vienā no slavenākajām datubāzēm, kas izveidota 1960. gados un pazīstama kā General Inquirer datubāze, ir vairāk nekā 11 000 vārdu, kas marķēti ar 182 dažādiem tagiem, tostarp dažas emocijas, kuras psihologs tagad uzskata par visvienkāršākajām.

Mūsdienīgāka datu bāze ir WordNet Affect Lexicon, kurā šādi atzīmēti daži simti vārdu. Tas izmantoja nelielu ekspertu grupu, lai manuāli atzīmētu sākuma vārdu kopu ar pamata emocijām. Pēc tam šīs datu bāzes lielums tika ievērojami palielināts, automātiski saistot tās pašas emocijas ar visiem šo vārdu sinonīmiem.

Viena no šo pieeju problēmām ir milzīgais laiks, kas nepieciešams lielas datu bāzes apkopošanai, tāpēc Mohameds un Tērnijs izmēģināja citu pieeju.

Šie puiši atlasīja aptuveni 10 000 vārdu no esoša tēzaura un iepriekš aprakstītajiem leksikas un pēc tam izveidoja piecu jautājumu kopu, ko uzdot par katru vārdu, kas atklātu ar to saistītās emocijas un polaritāti. Tas kopā ir vairāk nekā 50 000 jautājumu.

Pēc tam viņi uzdeva šos jautājumus vairāk nekā 2000 cilvēku jeb turkeriem Amazon vietnē Mechanical Turk, maksājot 4 centus par katru pareizi atbildētu jautājumu kopu.

Rezultāts ir visaptverošs vārdu un emociju leksikons, kas ietver vairāk nekā 10 000 vārdu vai divu vārdu frāzes, ko viņi sauc par EmoLex.

Viens no svarīgākajiem faktoriem šajā pētījumā ir pūļa pakalpojumu sniegto atbilžu kvalitāte. Piemēram, daži turki var atbildēt nejauši vai pat apzināti ievadīt nepareizas atbildes.

Mohameds un Tērnijs to ir risinājuši, ievietojot testa jautājumus, kurus viņi izmanto, lai novērtētu, vai Turkers atbild labi. Ja nē, visi šīs personas dati tiek ignorēti.

Viņi pārbaudīja savas datu bāzes kvalitāti, salīdzinot to ar agrāk izveidotajām ekspertu datubāzēm, un saka, ka tā ir labi salīdzināma. Mēs salīdzinājām mūsu leksikas apakškopu ar esošajiem zelta standarta datiem, lai parādītu, ka iegūtās anotācijas patiešām ir augstas kvalitātes, viņi saka.

Šai pieejai ir ievērojams potenciāls nākotnē. Muhameds un Tērnijs saka, ka datubāzes lieluma palielināšanai ir jābūt vienkāršai, un to var viegli pielāgot, lai izveidotu līdzīgus leksikonus citās valodās. Un to visu var izdarīt ļoti lēti — viņi šajā darbā iztērēja 2100 USD Mechanical Turk.

Būtība ir tāda, ka noskaņojuma analīze vienmēr var būt tik laba, cik laba ir datubāze, uz kuru tā balstās. Izmantojot EmoLex, analītiķiem ir jauns rīks savam triku komplektam.

Atsauce: arxiv.org/abs/1308.6297 : Crowdsourcing a Word-Emotion Association Lexicon

paslēpties