Jaunās apraides problēmas ar lielajiem datiem

Šī gada sākumā Eiropas Centrālā banka rīkoja divu dienu semināru par lielajiem datiem un to, kā tos izmantot prognozēšanai. Galvenais runātājs bija Hals Varians, Google galvenais ekonomists un rokzvaigznes statusa ieguvējs.

Varians izklāstīja Google Trends un Google Correlate, uzņēmuma lielo datu rīku, jaudu. Izmantojot Google tendences, jūs ierakstāt vaicājumu un saņemat atpakaļ darbību datu sēriju. Izmantojot Google Correlate, jūs ievadāt datu sēriju un saņemat atpakaļ to vaicājumu sarakstu, kuru datu sērija atbilst līdzīgam modelim, teikts Google savā vietnē Correlate. Citiem vārdiem sakot, Google Correlate ir kā Google tendences otrādi.

Varian parādīja visādas interesantas tendences un korelācijas. Piemēram, meklēšanas vaicājums vārdam paģiras ievērojami palielinās sestdienās, maksimums ir svētdienās un ievērojami samazinās pirmdienās. Un modelis ir līdzīgs vārda degvīns meklēšanas modelim, lai gan atpaliek par dienu (vai, visticamāk, nakti un rītu pēc tam).

Citā piemērā viņš parādīja, kā, ievadot datus par sākotnējiem bezdarbnieka pabalstu pieprasījumiem ASV, tika iegūts 100 vaicājumu saraksts, kas sekoja līdzīgam modelim, tostarp frāzei reģistrēties bezdarbam.

Protams, ir ierobežojumi. Viņš parādīja nepatiesu korelāciju starp ASV automašīnu pārdošanu un meklēšanas vaicājumu Indijas restorāni laikā no 2004. līdz 2012. gadam. Nav skaidrs, kāpēc šajās divās datu kopās ir līdzīgas tendences, taču, kā jums pateiks jebkurš statistiķis, korelācija nenozīmē cēloņsakarību.

Vēstījums bija skaidrs. Meklēšanas vaicājumu dati ir ļoti spēcīgi, taču tie ir jāizturas ar zināmu piesardzību un piesardzību.

Šodien Pols Ormerods no Londonas Universitātes koledžas un pāris draugi saka, ka ir arī citi iemesli, lai būtu piesardzīgi. Šie puiši ir izpētījuši Google gripas izplatības datus, kuros Google izmanto ar gripu saistītu meklējumu skaitu, lai norādītu gripas izplatību dažādās pasaules daļās jebkurā konkrētā laikā.

Ormerods un citi saka, ka ir vairāki iespaidīgi piemēri, kuros Google ir precīzi novērtējis gripas gadījumu skaitu, piemēram, ASV 2011./2012. gadā, Šveicē 2007./8., Vācijā 2005./2006. gadā un Beļģijā 2007./8. Šī spēja uzraudzīt gripu ir saņēmusi plašu mediju uzmanību.

Mazāk zināmi ir gadījumi, kad Google Trends ievērojami pārvērtēja faktisko gripas gadījumu skaitu. Tas notika ASV 2012./2013. gada ziemā, Šveicē 2008./2009. gadā, Vācijā 2008./2009. gadā un Beļģijā 2008./2009. gadā.

Kāpēc atšķirība? Ormerods un līdzās izvirza hipotēzi, ka cilvēki, kas meklē ar gripu saistītus meklējumus, iedalās divās kategorijās. Pirmā ir tie, kas cieš no gripas simptomiem, un otrā grupa meklē tikai tāpēc, ka meklē arī citi cilvēki, iespējams, tāpēc, ka, piemēram, plašsaziņas līdzekļos ir liela interese par gripu.

Protams, noderīgi dati nāk no pirmās grupas, kas ir gripas slimnieki. Viņu meklēšanas iemesls ir iekšēji radīts un neatkarīgs no ārējās pasaules — viņi jūtas slikti. Tāpēc viņu meklēšanas modelim ir jāatšķiras no to cilvēku meklēšanas veida, kuri meklē ārējas ietekmes, piemēram, laikrakstu ziņojumu, dēļ. Šis sociālās meklēšanas process vienkārši kalpo, lai palielinātu skaitļus.

Tātad, kā atšķirt šīs divas grupas? Ormerods un līdzās izvirza hipotēzi, ka neatkarīgo meklējumu modelis laika gaitā būtiski atšķirsies no sociālajiem meklējumiem. Jo īpaši viņi saka, ka neatkarīgiem meklējumiem vajadzētu strauji pieaugt, gripai izplatot iedzīvotājus, un lēnām samazināties, slimībai izmirstot. Turpretim sociālie meklējumi ir simetriskāki.

Tātad datu simetrija ir sociālās meklēšanas līmeņa mērs. Tie patiešām parāda, ka šī simetrija ir skaidri redzama gados, kad Google gripas tendences ievērojami pārvērtēja gadījumus, salīdzinot ar gadiem, kad tā bija precīzāka.

Tas ir interesants piemērs kļūdām, kas statistiķiem jārisina, analizējot lielos datus. Google tendences ir tikai piemērs — pasaule arvien vairāk ir pārpildīta ar lielām datu kopām un statistiķiem, kas laiza lūpas.

Nav šaubu, ka svarīgu informāciju par ekonomiku, veselību un citām lietām var iegūt no lielajiem datiem, izmantojot pareizos rīkus. Bet tieši tas, kā tas būtu jādara precīzi un uzticami, joprojām ir nopietnu diskusiju objekts.

Tas pilnībā neatšķiras no situācijas, kas pastāv ar pašreizējiem ekonomikas datiem, kas parasti atpaliek no reālās ekonomikas vismaz par mēnesi un bieži tiek pārskatīti vēlāk, kad skaitļi kļūst skaidrāki. Šo skaitļu neuzticamība rada lielas bažas politikas veidotājiem.

Šķiet skaidrs, ka valdības aģentūras, uzņēmumi un gandrīz ikviens, kas vēlas spēlēties ar skaitļiem, nākotnē varēs iegūt ievērojamu vērtību no meklēšanas vaicājumu datiem.

Bet esiet brīdināts, ir nepieciešama ievērojama piesardzība. Nākamajā rītā nejauku garšu mutē atstāj ne tikai degvīns. Daudzas ekonomiskās paģiras ir izraisījušas pārmērīga aizraušanās ar neuzticamiem datiem.

Atsauce: arxiv.org/abs/1408.0699 : Ekonomisko un sociālo datu apraide: kad un kāpēc meklētājprogrammu dati neizdodas, ilustrācija, izmantojot Google gripas tendences

paslēpties