Aptaujas veicēji kļūdījās 2016. gada vēlēšanās. Tagad viņi vēlas vēl vienu šāvienu.

Ir jauns pulks iespējamo orākulu, kas ir apņēmušies neatkārtot savu priekšgājēju kļūdas. Autors

• Robs Artūrs arhīva lapa

2020. gada 14. februāris

Karstens Petrats

2016. gada 8. novembra naktī Čārlzs Frenklins, tāpat kā miljoniem citu amerikāņu, vēroja prezidenta vēlēšanu rezultātus ar, viņaprāt, nogrimstošu sajūtu. Bet Franklins , Viskonsinas aptauju veicējs un Mārketas universitātes tiesību un sabiedriskās politikas profesors, nebija satraukts savu personīgo politisko preferenču dēļ; uz spēles bija likta viņa reputācija. Tikai nedēļu iepriekš viņa paša veiktā aptauja liecināja, ka Hilarijai Klintonei Viskonsīnā ir seši punkti. Tā vietā viņa bija, zaudējot ar septiņām desmitdaļām.

Frenklins dežurēja ar ABC Lēmumu biroju, kas ir viens ekspertu aizkulišu komandas loceklis, kurš bija atbildīgs par Klintoni vai Donalda Trampa izsaukšanu štatos, kad tika saņemti balsu rezultāti. Kad viņš vēroja, kā atdeves krājas līdz četriem no rīta, kļuva skaidrs skaidrs, ka viņa aptauja bija izslēgta.

Šis stāsts bija daļa no mūsu 2020. gada marta numura

• Skatiet pārējo izdevuma daļu
• Abonēt

Neviens nevēlas kļūdīties, viņš saka, atskatoties. Tāpēc šajā ziņā tas bija ļoti nomācoši.

Viņš nebija vienīgais aptauju veicējs, kurš nepareizi nolasīja vēlēšanas. Saskaņā ar RealClearPolitics datiem , katrā no vairāk nekā 30 aptaujām Viskonsīnā pēdējo mēnešu laikā pirms vēlēšanām Klintone uzvarēja štatā ar pārsvaru no 2 līdz 16 punktiem. Un šīs kļūdas tika vēl vairāk pastiprinātas, jo tās pēc tam tika izmantotas kā degviela datoru algoritmiem, kas paredzēja kopējo Klintones uzvaru.

Pēc Donalda Trampa uzvaras runas un putekļu notīrīšanas visi sāka atzīt savas kļūdas.

Mani satrieca apziņa, ka esmu kļūdījies, rakstīja Natālija Džeksone, datu zinātniece no Huffington Post, kas Klintonei bija devusi 98% iespēju uzvarēt.

Plašsaziņas līdzekļi, tostarp daudzi tirgi, kuru pašas prognozes bija nodrošinājušas Klintonei lielu uzvaras iespējamību, sāka nosodīt prognozēšanas algoritmu neveiksmi. Daži kritiķi bija apdomīgāki nekā citi, atzīstot, ka daži prognozētāji Trampa uzvaru bija precīzi raksturojuši kā tikai neticamu. Taču daudzi apšauba visu vēlēšanu prognozēšanas ideju. Daži pat izmantoja vēlēšanas kā munīciju, lai uzbruktu visai datu zinātnes jomai.

Tomēr gandrīz četrus gadus vēlāk un, tuvojoties citam konkursam, sinoptiķi sāk sniegt priekšlaicīgas prognozes 2020. gadam. Pretreakcija pret 2016. gadu viņus nav atturējusi — patiesībā tagad ir pavisam jauns iespējamo orākulu pūlis, kas ir apņēmies to nedarīt. atkārtot savu priekšgājēju kļūdas.

Kas notika

Problēmu kokteilis izraisīja 2016. gada vēlēšanu nokavējumus. Dažās aptaujās neizdevās sazināties ar pietiekami daudz mazāk izglītotiem baltajiem vēlētājiem, savukārt daži Trampa atbalstītāji atteicās atzīt, kādā veidā viņi balsos. Trampa netradicionālā stratēģija izrādījās arī vairāk pilsoņu republikāņu lauku apgabalos. Aptauju veicēji nepareizi pieļāva, ka šie cilvēki paliks malā, kā viņi to darīja iepriekšējās vēlēšanās, un tāpēc Trampa bāze šķita mazāka, nekā tā bija patiesībā.

Taču, lai gan lielākā daļa vainas bija aptauju veicējiem, iespējams, vairāk nosodījuma būtu bijis jāuzņemas prognozētājiem, kuri aptauju veicēju datus pārvērš prognozēs.

Diviem galvenajiem prognozētājiem Hilarija Klintone uzvarēja ar 99%, saka G. Eliots Moriss, žurnāla Economist datu žurnālists, kurš strādā pie vēlēšanu prognozēšanas. Kad viņa to nedarīja, daudzi no viņiem vienkārši vainoja aptauju veicējus, jo viņiem tas ir viegli.

Daži datu zinātnieki, kuri palīdzēja izstrādāt prognozēšanas algoritmus, pieļāva vismaz divas lielas kļūdas. Pirmkārt, viņi pieņēma, ka, ja iespēja, ka Viskonsīnā būs gandrīz septiņi punkti, ir zema, salīdzināmas kļūdas iespēja citos kritiskos štatos, piemēram, Mičiganā un Pensilvānijā, ir niecīga. Faktiski aptaujas problēmas vienā štatā bija saistītas ar kļūdām citos līdzīgos štatos. Pieņemot, ka aptaujas bija pilnīgi neatkarīgas viena no otras, nevis atspoguļoja vienādas reakcijas uz tiem pašiem jautājumiem, radīja pārmērīgu uzticēšanos Klintones vadībā.

Otrkārt, prognozēšanas algoritmi nespēja reģistrēt rekordlielu neizlēmušo vēlētāju skaitu kā brīdinājuma zīmi. Tā kā tik daudz vēlētāju līdz pat vēlēšanu dienai atradās nožogojumā — un galu galā tie stipri lauzīs Trampu — Klintones robežas bija daudz mazāk drošas, nekā šķita.

Karstens Petrats

Tas skatījās mums tieši sejā, saka Reičela Bitekofera , Kristofera Ņūportas universitātes politikas zinātnes profesors. Ja štatos, kur notiek cīņa pret vēlēšanām, būtu bijis vairāk aptauju, viņa norāda, ka analītiķi varētu būt pamanījuši neparasti lielo vēlētāju skaitu, kuri nolēma piedalīties pēdējā brīdī.

Tomēr tā nebija tikai sinoptiķu vaina. Pat tad, ja viņu varbūtības attiecībā uz katru kandidātu bija precīzas, šķita, ka sabiedrībai bija grūti saprast šo skaitļu nozīmi.

Vēlēšanu kampaņas noslēguma dienās es strādāju FiveThirtyEight — vienā no ievērojamākajām prognozēm. Mans darbs nebija saistīts ar prezidenta sacensībām: tā vietā es atspoguļoju beisbola pasaules sēriju. Kad Čikāgas Cubs septiņu spēļu sērijā pret Klīvlendas Indians zaudēja trīs geimus pret vienu, es ievēroju, ka viņu izredzes uzvarēt, aptuveni viena no sešām, bija par mata tiesu mazākas nekā Trampa izredzes ieņemt Balto namu. Sešas komandas to bija darījušas iepriekš 113 gadu ilgajā Pasaules sērijas vēsturē, bet vēl septiņas to bija izcīnījušas citās izslēgšanas spēļu kārtās, tāpēc tas noteikti bija iespējams, taču tas nebija raksturīgi. Pēc tam, kad gan Cubs, gan Tramps uzvarēja pret izredzēm, es saņēmu daudz naida tvītu, kuros vainoja mani par divu ļoti iespējamu likteņa pavērsienu esamību.

Ja dzirdat, ka lietus iespējamība ir 20%, neņemiet līdzi lietussargu. Un tad līst lietus, un jūs viss tiek atzīmēts, un, iespējams, tā ir jūsu vaina, saka Stīvens Šepards, Politico redaktors un vēlēšanu prognozētājs. Bet šis 20% gadījumu ne vienmēr ir tik maz ticams.

Šķita, ka daudzi cilvēki skatījās uz to, kuram kandidātam tika prognozēta uzvara (parasti Klintonei), neņemot vērā prognozētāju pārliecību. 70% iespējamība uz Klintones uzvaru noteikti bija par labu demokrātam, taču to vajadzēja uztvert pavisam savādāk nekā 99% iespēju.

Tomēr daži teica 99%, un viņi neapšaubāmi bija pārāk agresīvi. Sems Vans no Prinstonas vēlēšanu konsorcija lēsa, ka Trampa izredzes ir mazākas par 1%, un pat apņēmās apēst kļūdu, ja Tramps nopelnītu vairāk nekā 240 vēlētāju balsis.

Kad vēlēšanu rezultāts kļuva zināms, Vans palika uzticīgs savam vārdam. Nedēļu pēc vēlēšanu dienas viņš parādījās CNN ar gardēžu kriketa bundžu (gardēdis no mājdzīvnieka viedokļa, viņš precizēja) un nosodīja savas derības radušos skatienu. Es ceru, ka varēsim atgriezties pie datiem, un pārdomāti domājot par politiku un problēmām, viņš teica, pirms iemērca kriketu medū un ar sāpīgu sejas izteiksmi norija kukaini.

Trīskārši draudi

Ne visas prognozes bija tik tālu kā Vangas prognozes. Daži pat paredzēja Trampa uzvaru. Lai saprastu, kāpēc tās ir tik atšķirīgas, ir vērtīgi aplūkot pieeju klāstu, kas iedalās trīs plašās klasēs.

Agrākās prognozes katrā vēlēšanu ciklā nāk no tā sauktajiem fundamentālo modeļu modeļiem. Tos parasti veido prezidenta apstiprinājuma reitingi, ekonomikas statistika un demogrāfiskie rādītāji. Spēcīga ekonomika paredz vēsturiskā operatora partijas uzvaru, tāpat kā augsts vēsturiskā operatora apstiprinājuma reitings. Štata demogrāfisko uzbūvi var izmantot arī, lai prognozētu iznākumu — piemēram, baltie, augstskolu neieguvušie vēlētāji 2016. gadā mēdza balsot par Trampu, tāpēc štatos, kur viņu ir daudz, ir lielāka iespēja, ka 2020. gadā izvēlēsies savu ceļu. labi.

Tā kā šie faktori ir salīdzinoši stabili, uzticamas pamatu prognozes var veikt daudz agrāk nekā vairums citu prognožu veidu. Šādi modeļi šķiet pārāk vienkārši, lai iemūžinātu visas modernās divu gadu kampaņas dīvainības un skandālus. Taču 2016. gadā viņiem bija šokējoši labi: seši no 10 prognozēja galīgo tautas balsojumu viena procentpunkta robežās.

Tomēr prezidenta amatu neizvēlas tiešā tautas balsojumā, un tas ir būtisks fundamentālo pieeju ierobežojums: retais prognozē vēlēšanu kolēģijas galīgos rezultātus.

Fundamentālajiem modeļiem ir vēl viens trūkums. Ja parādās vēlīnās ziņas, piemēram, skandāls sacensību beigās vai pēkšņas pārmaiņas ekonomikā (labs piemērs ir 2008. gada finanšu krīze), tad šīs stabilās prognozes pēkšņi var novecot. Lai to kompensētu, pirms aptuveni desmit gadiem statistiķi sāka popularizēt jauna veida kvantitatīvos modeļus, kas nav tik neaizsargāti pret šiem oktobra pārsteigumiem. Viņi apstrādā aptauju datus, tiklīdz tie tiek izdoti, un katru dienu sagatavo aplēses par to, kurš uzvarēs, lai viņi varētu reaģēt, ja sabiedriskā doma mainās.

RealClearPolicies un New York Times rezultāts abiem ir labi novērtēti kvantitatīvie modeļi, taču nevienam modelim nav lielākas slavas — vai, iespējams, labāku sasniegumu — nekā Neita Silvera FiveThirtyEight prognoze, kas nosaukta par kopējo balsu skaitu Elektoru kolēģijā. FiveThirtyEight algoritmam ir vairākas variācijas, taču visi rūpējas, lai aptaujas pielāgotu tam, cik uzticama ir aptaujas organizācija un vai tās rezultāti konsekventi sliecas uz demokrātu vai republikāņu. Rūpīga aptauju datu apstrāde un uzmanība, ko Sudraba pievērš nenoteiktībai, tradicionāli to atšķir no citām prognozēm. FiveThirtyEight ir zelta standarts, Bitecofer man teica.

No lielākajām kvantitatīvajām vēlēšanu prognozēm FiveThirtyEight’s bija konservatīvākais , piešķirot Klintonei 71,4% iespēju uzvarēt vēlēšanu priekšvakarā. Retrospektīvi tas izklausās tieši tagad, saka Čārlzs Franklins: Trampa uzvara bija maz ticams, bet ne neiespējams iznākums.

Visbeidzot, pastāv prognozētāji, kas pilnībā izvairās no matemātiskām pieejām, tā vietā paļaujoties uz intuīcijas, aptaujas un visu citu modeļu rezultātu kombināciju. Šīs kvalitatīvās prognozes darbojas vienā no sarežģītākajiem un tomēr kļūdainākajiem skaitļošanas dzinējiem, par kuriem mēs zinām: cilvēka smadzenes.

Precīzu skaitlisku aprēķinu vietā kvalitatīvie prognozētāji parasti sagrupē sacīkstes vienā no četrām kategorijām skalā, sākot no drošām līdz pat izmētātām.

Mētāšana nozīmē, ka nav neviena favorīta: sava veida monēta, saka Kails Kondiks , kvalitatīvs prognozētājs Virdžīnijas Universitātes politiskās analīzes biļetenā Crystal Ball. Lean, viņš saka, ir maza maliņa vienai vai otrai pusei. Iespējams, vienai vai otrai pusei ir lielāka mala. Un drošs, viņš saka, nozīmē, ka mēs būtu šokēti, ja šī partija zaudētu. Daži kvalitatīvie prognozētāji apgalvo, ka šīs verbālās grupas palīdz lasītājiem labāk izprast relatīvās varbūtības nekā citur piedāvātie precīzāki skaitļi.

Lai gan šīs prognozes var šķist mazāk zinātniskas nekā tās, kas balstītas uz kraukšķīgiem skaitļiem, dažas var lepoties ar iespaidīgu precizitātes līmeni. 2018. gada vidusposmā saskaņā ar trešās puses vairāku profesionālo prognožu novērtējumu , vislabāk veicās trāpīgi nosauktajai Crystal Ball, nevis FiveThirtyEight statistikas algoritmam. Tomēr sniegumam ir tendence svārstīties atkarībā no cikla uz ciklu: saskaņā ar aptauju veicēju un akadēmiķu teikto labākā prakse ir izmantot dažādas prognozes — kvalitatīvas, kvantitatīvās un fundamentālās.

Kas tālāk?

Gandrīz visi prognozētāji, ar kuriem es runāju, bija saņēmuši vitriola naida pastu pēc 2016. gada rezultātiem. Tomēr desmitiem jaunu modelētāju ir metuši savas cepures 2020. gadam.

Viņi šogad pirmo reizi izklās savas prognozes, un viņi vēlas izvairīties no kļūdām, kas pieļautas iepriekšējos vēlēšanu ciklos. Moriss, The Economist prognozētājs, ir viens no tiem, kas ienāk šajā jomā. Iepriekšējās prognozes ar kļūdām viņš ir nodēvējis par cilvēku melošanu un redakcionālu pārkāpumu. Mums no tā būtu jāmācās, viņš saka.

The Economist veidos savu algoritmu, izmantojot ārējo organizāciju publicētās aptaujas, taču tā veiks arī savus apsekojumus, lai nostiprinātu rezultātus neskaidros stāvokļos un sacīkstēs, kas, pēc Morisa cerībām, var nodrošināt lielāku precizitāti.

Arī The Washington Post veic savu pirmo azartspēli uz prognozēm, taču izvēlas citu ceļu. Tas paliek ārpus prognozēšanas spēles, līdz sāks ienākt atgriešanās. Tikai tad, kad vēlēšanu dienā pirmie iecirkņi sāks paziņot balsu kopskaitu, pasts izmantos savu analītisko modeli, lai novērtētu iespējamību, ka konkrēti kandidāti izvēlēsies to štatu vai apgabalu, kuram viņi ir sacenšas. Pagaidot, līdz tiks saskaitītas pirmās balsis, Post datu zinātnieki plāno krasi samazināt kļūdu, prognozējot pārējo balsu skaitu, lai gan uz tā rēķina, ka nevarēs publicēt agrīnu prognozi.

Pieredzējuši prognozētāji un aptauju veicēji arī nesēž sadevušies rokās. Pamata modeļu veidotāji sāk pieņemt izaicinājumu prognozēt Elektoru kolēģijas, nevis tikai tautas balsojumu. Bitecofer izstrādāja modeli, kura pamatā galvenokārt ir demogrāfiskie dati, kas jau paredz demokrātu pretinieka nelielu vēlēšanu balsu uzvaru, neatkarīgi no tā, kurš tas būtu.

Šķiet, ka šo problemātisko kvantitatīvo algoritmu izstrādātāji ir guvuši mācību par korelētajām kļūdām starp stāvokļiem. Huffington Post izdeva a mana vaina par 98% prognozēto Klintones uzvaru. Vangs, kļūdu ēdošais Prinstonas profesors, ir apņēmies atjaunināt savu algoritmu, lai tas 2020. gadā būtu daudz mazāk pārliecināts, atzīstas savā emuārā ka viņa agrākais modelis bija kļūda.

Tiek uzskatīts, ka ZIRGU SACENSĪBU APTAUJA PALIELINĀS CINISMU ... TĀ LIEK CILVĒKIEM UZskatīt POLITIKU KĀ SPĒLI, KURĀ VIŅI IZVĒLĀS UN IESAKNĒ SAVU KOMANDU.

Tikmēr kvalitatīvie prognozētāji no 2016. gada ir guvuši dažādas mācības. Ir daudz dažādu lietu, kurām, lūkojoties vēlāk, es vēlētos, lai mēs varbūt būtu koncentrējušies uz nedaudz vairāk, taču es teiktu, ka uz pamatiem balstītie modeļi bija vislabākie šajā jomā. šajās vēlēšanās, saka Virdžīnijas Universitātes Kondiks. Es vēlos, lai mēs visi viņiem pievērstu lielāku uzmanību.

Kondiks un citi uzsver nepieciešamību būt piesardzīgiem attiecībā uz visām prognozēm, ņemot vērā pašreizējā prezidenta vēsturisko nepopularitāti, kam vajadzētu samazināt viņa izredzes, un spēcīgo ekonomiku, kurai tās jāpalielina. Šie duelēšanas faktori nozīmē, ka sacīkstes līdz vēlēšanu dienai ir neskaidras.

Karstens Petrats

Arī citur plašsaziņas līdzekļu organizācijas ir sākušas sniegt savus aprēķinus tādos veidos, kas ir paredzēti, lai sniegtu lasītājam labāku un intuitīvāku izpratni par to, ko nozīmē varbūtības. Tā vietā, lai rakstītu, ka demokrātiem bija 87,9% iespēja ieņemt Parlamentu 2018. gada vidusposma vēlēšanās, piemēram, FiveThirtyEight uzsvēra, ka viņi varēja cerēt uz uzvaru septiņas reizes no astoņām.

Psihologi ir atklājuši, ka cilvēki labāk izprot šāda veida [skaitļus], rakstīja Yphtach Lelkes, Pensilvānijas universitātes komunikāciju profesors.

Visbeidzot, arī aptauju veicēji uzlabo savu spēli. Amerikas Sabiedriskās domas pētījumu asociācija (AAPOR) izdeva 2016. gada retrospekciju ar mācībām nākamajām vēlēšanām. Padomi ietver statistikas triku izmantošanu, lai nodrošinātu, ka iedzīvotāju izlases ir reprezentatīvākas attiecībā uz aptaujāto štatu, un vairāk aptauju veikšana kampaņas pēdējās dienās, lai atspoguļotu vēlu lēmumu pieņēmušo vēlētāju nostāju, kas izrādījās tik kritiski Trampa uzvarai.

Franklins, Viskonsinas aptauju veicējs, bija viens no AAPOR pēcnāves pētījuma autoriem. Desmitiem aptauju sistemātiskā neveiksme vairākos štatos liecina, ka viņa aptaujas kļūda bija saistīta ar reālām izmaiņām sacensību noslēguma dienās, nevis agrāku, būtiskāku kļūdu. Tomēr viņš domā, kas varētu būt bijis: kā būtu, ja mēs būtu aptaujājuši nedēļas nogali pirms vēlēšanām? Vai šajos datos mēs būtu fiksējuši svārstības Trampa virzienā?

Kvantu aptauja

Taču, lai gan pirms četriem gadiem pieļautās kļūdas var labot, 2020. gada ciklam var rasties arī jaunas grūtības. Dažus var vadīt pat pati prognozēšana. Daži eksperti apgalvo, ka vēlēšanu prognozes var ietekmēt tieši tos rezultātus, kurus viņi cenšas prognozēt.

PĒTĪJUMI liecināja, KAD CILVĒKI UZSKATA, KAS VĒLĒŠANU REZULTĀTS IR NOTEIKTS, VIŅI IR MAŽĀK BALSOT.

Saskaņā ar a nesenais pētījums , pārsvarā liberāla auditorija, kas 2016. gadā piekrita šīm pārāk pārliecinātajām kvantitatīvajām prognozēm. Iepriekš publicētie pētījumi liecina, ka tad, ja cilvēki uzskata, ka vēlēšanu iznākums ir skaidrs, viņi mazāk balsos, it īpaši, ja pārliecība ir par labu viņu izvēlētajam. kandidāts. Tātad, mainot tā saukto novērotāja efektu, kurā tikai kaut kā noskatīšanās izmaina iznākumu, demokrātiskās auditorijas barošana ar pastāvīgu diētu un pārlieku pašpārliecinātām aptaujām, piemēram, Vanga, varēja ievērojami samazināt vēlēšanu aktivitāti. Ņemot vērā, ka sacensības būtībā izšķīra tikai 107 000 balsu trīs štatos, jebkurš samazinājums varēja būt svarīgs.

Klintone zaudēja ar tik maz balsu, ka noteikti ir iespējams, ka varbūtības prognozes lika pietiekami daudz demokrātu palikt mājās, ka tas ietekmēja iznākumu, rakstīja Lelkess. To pašu ieteica arī pati Klintone. Es nezinu, kā mēs kādreiz aprēķināsim, cik daudz cilvēku domāja, ka tas ir maisā, jo procenti nepārtraukti tika izmesti cilvēkiem — “Ak, viņai ir 88 procenti iespēja uzvarēt!” viņa teica intervijā žurnālam New Jorkas žurnāls.

Pat ja vēlēšanu prognozēšana nemainīja iznākumu 2016. gadā, tai varētu būt lielāka ietekme uz turpmākajām kampaņām.

Tiek uzskatīts, ka zirgu skriešanās sacensību aptauja palielina politisko cinismu, ietekmē vēlētāju aktivitāti, palielina polarizāciju un, iespējams, aizstāj informāciju par būtiskām problēmām, rakstīja Lelkes. Tas liek cilvēkiem uztvert politiku kā spēli, kurā viņi cenšas atbalstīt savu komandu, nevis atbalsta kandidātus, pamatojoties uz viņu politiskajām pozīcijām. Un, ja šīs sekas ir reālas, tās, visticamāk, kļūs spēcīgākas, jo notiks vairāk prognožu.

Daži prognozētāji, piemēram, Sudraba, ir noraidījuši šīs bažas. Viņi apgalvo, ka viņu uzdevums nav pateikt cilvēkiem, balsot vai nē, vai pateikt plašsaziņas līdzekļiem, ko atspoguļot. Savukārt citi Lelkes un viņa kolēģu padomus uztver nopietnāk.

Mēs eksperimentējam ar veidiem, kā nodot nenoteiktību, kas neattur cilvēkus [no balsošanas], saka Economist's Morris. Bet es domāju, ka tā joprojām ir problēma, ar kuru prognozētāji saskarsies… Es nezinu, kā mēs apiet dažas no mūsu darba sociālajām sekām.

Robs Arturs ir neatkarīgs žurnālists un datu zinātnes konsultants, kas atrodas Čikāgā.

paslēpties