Datu ieguve atklāj veidu, kā cilvēki viens otru novērtē

Tas, kā mēs novērtējam citu cilvēku sniegumu, ir viens no lielākajiem kognitīvās psiholoģijas noslēpumiem. Šis process notiek nepārtraukti, jo mēs vērtējam cilvēku spējas veikt noteiktus uzdevumus, novērtējot ikvienu no elektriķiem un autobusu vadītājiem līdz grāmatvežiem un politiķiem.

Problēma ir tā, ka mums ir pieejams tikai ierobežots datu kopums par personas sniegumu — daži no tiem ir tieši saistīti, piemēram, taksometra vadītāja braukšanas rekords, bet liela daļa no tiem ir nebūtiski, piemēram, vadītāja dzimums. Patiešām, informācijas apjoms var būt tik liels, ka mēs esam spiesti izlemt, izmantojot nelielu tās apakškopu. Kā tiek pieņemti šie lēmumi?

Šodien mēs saņemam sava veida atbildi, pateicoties Luca Pappalardo darbam Pizas Universitātē Itālijā un dažiem draugiem, kuri ir pētījuši šo problēmu sporta arēnā, kur jautājumi par sniegumu tiek izmesti milzīgā atvieglojumā. Viņu darbs sniedz unikālu ieskatu par to, kā mēs novērtējam cilvēka veiktspēju un kā tas ir saistīts ar objektīviem pasākumiem.

Faktori, ko cilvēku novērotāji izmanto, lai novērtētu veiktspēju, ir neliela objektīvu mēru apakškopa.

Sportiskais sniegums ir viena no jomām, kurā vairākus gadus ir apkopoti detalizēti individuālā snieguma ieraksti. Pappalardo un co koncentrējas uz futbolu, kas ir pasaulē populārākais sporta veids, un jo īpaši uz to spēlētāju sniegumu, kuri sacenšas Itālijas A sērijas futbola līgas virsotnēs.

Itālijas sporta laikraksti jau daudzus gadus ir novērtējuši spēlētāju sniegumu katrā spēlē skalā no 0 līdz 10, kur 0 ir neaizmirstami slikts un 10 neaizmirstami pārsteidzošs. Šīs sistēmas pamatā ir Itālijas skolu reitingu sistēma, kur 6 norāda, ka skolēns ir veicis atbilstošus rezultātus. Tas, kā tiek vērtēti spēlētāji, netiek publicēti, taču to, domājams, ir izdarījis sporta žurnālists eksperts.

Pēdējos gados vienus un tos pašus spēlētājus vērtē arī objektīva mērīšanas sistēma, kas uzskaita katra spēlētāja izdarīto piespēļu, metienu, sitienu, atvairīto sitienu un tā tālāk skaitu. Šis tehniskais pasākums ņem vērā 150 dažādus parametrus un sniedz visaptverošu pārskatu par katra spēlētāja sniegumu laukumā.

Pappalardo un co uzdod jautājumu, kā laikrakstu reitingi korelē ar tehniskajiem reitingiem un vai ir iespējams izmantot tehniskos datus, lai izprastu faktorus, kas ietekmē cilvēku vērtējumus.

Pētnieki sāk ar tehnisko datu kopu, kurā ir 760 spēles A sērijā 2015.-2016. un 2016.-2017. gada sezonās. Tas sastāv no vairāk nekā miljona datu punktu, kas apraksta ar laika zīmogu apzīmētus notikumus laukumā. Viņi izmanto datus, lai iegūtu katra spēlētāja tehniskās veiktspējas vektoru katrā spēlē; tas darbojas kā objektīvs viņa darbības rādītājs.

Pētniekiem ir arī vērtējumi par katru spēlētāju katrā spēlē no trim sporta laikrakstiem: Gazzetta dello Sport , Corriere dello Sport , un Tuttosport .

Laikrakstu reitingiem ir dažas interesantas statistikas īpašības. Tikai 3 procenti vērtējumu ir zemāki par 5 un tikai 2 procenti augstāki par 7. Ja vērtējumi ir iedalīti kategorijās saskaņā ar skolu vērtējumu sistēmu — kā slikti, ja tie ir zemāki par 6, un labi, ja tie ir 7 un augstāki, — slikti. vērtējumi izrādās trīs reizes biežāki nekā labie.

Kopumā avīzes sniegumu vērtē līdzīgi, lai gan reizēm var būt domstarpības līdz pat 6 ballēm. Mēs novērojam labu vienošanos par reitingu pāriem starp laikrakstiem, konstatējot, ka reitingiem (i) ir identisks sadalījums; ii) ir cieši saistīti viens ar otru; un (iii) parasti atšķiras par vienu reitinga vienību (0,5), piemēram, Pappalardo un citi.

Lai analizētu saistību starp laikrakstu vērtējumiem un tehniskajiem vērtējumiem, Pappalardo un līdzās izmanto mašīnmācīšanos, lai atrastu korelācijas datu kopās. Jo īpaši tie rada mākslīgu tiesnesi, kas mēģina reproducēt laikrakstu reitingus no tehnisko datu apakškopas.

Tas noved pie ziņkārīga rezultāta. Mākslīgais tiesnesis var saskaņot laikrakstu reitingus ar pietiekamu precizitāti, bet ne tik labi, kā laikraksti atbilst viens otram. Domstarpības norāda, ka tehniskās īpašības vien nevar pilnībā izskaidrot [laikraksta] vērtēšanas procesu, saka Pappalardo un citi.

Citiem vārdiem sakot, laikrakstu reitingiem ir jābūt atkarīgiem no ārējiem faktoriem, kurus tehniskie dati nefiksē, piemēram, cerības uz noteiktu rezultātu, personiskā neobjektivitāte utt.

Lai pārbaudītu šo ideju, Pappalardo un citi apkopoja citu datu kopu, kas aptver ārējos faktorus. Tie ietver spēlētāja vecumu, tautību un klubu, paredzamo spēles iznākumu, ko aplēsuši bukmeikeri, faktisko spēles iznākumu un to, vai spēle tiek aizvadīta mājās vai izbraukumā.

Kad šie dati ir iekļauti, mākslīgais tiesnesis dara daudz labāk. Pievienojot kontekstuālo informāciju, statistiskā vienošanās starp mākslīgo tiesnesi un cilvēka tiesnesi ievērojami palielinās, norāda komanda.

Patiešām, viņi skaidri redz piemērus tam, kā ārējie faktori ietekmē laikrakstu reitingus. Visā datu kopā tikai diviem spēlētājiem jebkad ir piešķirts perfekts 10. Viens no tiem bija argentīniešu uzbrucējs Gonsalo Iguains, kurš spēlēja Napoli. Šajā gadījumā viņš guva trīs vārtus spēlē, tādējādi kļūstot par visu laiku rezultatīvāko spēlētāju sezonā A Sērijā. Šis pagrieziena punkts gandrīz noteikti bija iemesls ideālajam vērtējumam, taču to nevar iegūt. punktu skaitu no tehnisko datu kopas.

Būtisks ir jautājums, kādus faktorus mākslīgais tiesnesis izmanto, lai saskaņotu laikrakstu reitingus. Mēs novērojam, ka lielākā daļa cilvēku tiesneša uzmanības tiek veltīta nelielam skaitam pazīmju, un lielākā daļa tehnisko pazīmju vērtēšanas procesā tiek slikti ņemtas vērā vai tiek izmestas, saka Pappalardo un citi.

Tātad uzbrūkošajiem spēlētājiem laikraksti mēdz tos novērtēt, izmantojot viegli novērojamus faktorus, piemēram, gūto vārtu skaitu; viņi vērtē vārtsargus pēc ielaisto vārtu skaita. Pussargu spēlētājus mēdz vērtēt pēc vispārīgākiem parametriem, piemēram, vārtu starpības.

Tam ir jēga — cilvēku novērotājiem ir ierobežots joslas platums, un viņi, iespējams, spēj novērot tikai nelielu daļu no veiktspējas rādītājiem. Patiešām, komanda saka, ka mākslīgais tiesnesis var saskaņot cilvēku vērtējumus, izmantojot mazāk nekā 20 tehniskos un ārējos faktorus.

Tas ir aizraujošs rezultāts, kas būtiski ietekmē to, kā mēs domājam par veiktspējas vērtējumiem. Mērķis, protams, ir atrast efektīvākus veidus, kā novērtēt sniegumu visās situācijās. Pappalardo un kolēģi uzskata, ka viņu darbam ir būtiska ietekme uz to. Viņi secina, ka šo dokumentu var izmantot, lai cilvēku vērtētāji gūtu izpratni par savu lēmumu pamatā esošo loģiku.

Atsauce: arxiv.org/abs/1712.02224 : cilvēka veiktspējas uztvere

paslēpties