211service.com
AI nevar paredzēt, kā izvērtīsies bērna dzīve, pat ja ir daudz datu
ŠARONA MKUČENA / UNSPLASH
Politikas veidotāji bieži izmanto sociālo zinātnieku darbu, lai prognozētu, kā konkrēta politika varētu ietekmēt sociālos rezultātus, piemēram, nodarbinātību vai noziedzības līmeni. Ideja ir tāda, ka, ja viņi var saprast, kā dažādi faktori var mainīt kāda cilvēka dzīves trajektoriju, viņi var ierosināt iejaukšanos, lai veicinātu labākos rezultātus.
Tomēr pēdējos gados viņi arvien vairāk ir paļāvušies uz mašīnmācīšanos, kas sola sniegt daudz precīzākas prognozes, apkopojot daudz lielāku datu apjomu. Šādi modeļi tagad tiek izmantoti, lai prognozētu iespējamību, ka apsūdzētais varētu tikt arestēts par otru noziegumu vai ka bērns ir apdraudēts par ļaunprātīgu izmantošanu un nolaidību mājās. Tiek pieņemts, ka algoritms, kas barots ar pietiekamiem datiem par konkrēto situāciju, sniegs precīzākas prognozes nekā cilvēks vai elementārāka statistiskā analīze.
Tagad a jauns pētījums publicēts Proceedings of the National Academy of Sciences, liek šaubīties par to, cik efektīva ir šī pieeja. Trīs Prinstonas universitātes sociologi lūdza simtiem pētnieku paredzēt sešus dzīves rezultātus bērniem, vecākiem un mājsaimniecībām, izmantojot gandrīz 13 000 datu punktu par vairāk nekā 4000 ģimenēm. Neviens no pētniekiem nesasniedza pat tuvu saprātīgam precizitātes līmenim neatkarīgi no tā, vai viņi izmantoja vienkāršu statistiku vai jaunākās mašīnmācības.
Pētījumā patiešām uzsvērta šī ideja, ka galu galā mašīnmācības rīki nav maģisks, saka Alise Sjans, bezpeļņas partnerības AI godīguma un atbildības pētījumu vadītāja.
Pētnieki izmantoja datus no 15 gadus ilga socioloģijas pētījuma ar nosaukumu Trauslu ģimeņu un bērnu labklājības pētījums , kuru vadīja Sāra Maklanahana, Prinstonas socioloģijas un sabiedrisko attiecību profesore un viena no jaunā raksta vadošajām autorēm. Sākotnējā pētījuma mērķis bija saprast, kā laika gaitā varētu izvērsties to bērnu dzīve, kuri dzimuši neprecētiem vecākiem. Ģimenes tika pēc nejaušības principa atlasītas no bērniem, kas dzimuši slimnīcās lielajās ASV pilsētās 2000. gadā. Tās tika pārbaudītas datu vākšanai, kad bērni bija 1, 3, 5, 9 un 15 gadus veci.
McLanahan un viņas kolēģi Metjū Salganiks un Ians Lundbergs pēc tam izstrādāja izaicinājumu, lai pēdējā fāzē apkopotu prognozes par sešiem rezultātiem, kurus viņi uzskatīja par socioloģiski svarīgiem. Tie ietvēra bērnu vidējo atzīmi skolā; viņu prāta līmenis vai pašpārliecināta neatlaidība skolā; un kopējais nabadzības līmenis viņu mājsaimniecībā. Izaicinājuma dalībniekiem no dažādām universitātēm tika dota tikai daļa datu, lai apmācītu viņu algoritmus, savukārt organizatori dažus aizturēja galīgajiem novērtējumiem. Piecu mēnešu laikā simtiem pētnieku, tostarp datorzinātnieku, statistiķu un skaitļošanas sociologu, pēc tam iesniedza savus labākos prognozēšanas paņēmienus.
Fakts, ka neviens iesniegums nevarēja sasniegt augstu precizitāti nevienam no rezultātiem, apstiprināja, ka rezultāti nebija nejaušība. To nevar izskaidrot, pamatojoties uz kāda konkrēta pētnieka neveiksmēm vai kādu konkrētu mašīnmācības vai AI paņēmienu, saka socioloģijas profesors Salganiks. Sarežģītākās mašīnmācības metodes arī nebija daudz precīzākas par daudz vienkāršākām metodēm.
Ekspertiem, kuri pēta AI izmantošanu sabiedrībā, rezultāti nav tik pārsteidzoši. Pat visprecīzākie riska novērtēšanas algoritmi krimināltiesību sistēmā, piemēram, sasniedz 60% vai 70%, saka Sjans. Varbūt abstrakti tas izklausās nedaudz labi, viņa piebilst, taču atkārtotu pārkāpumu līmenis jebkurā gadījumā var būt zemāks par 40%. Tas nozīmē, ka, paredzot atkārtotus pārkāpumus, jūs jau iegūsit vairāk nekā 60% precizitāti.
Tāpat pētījumi ir vairākkārt parādījuši, ka kontekstos, kur algoritms novērtē risku vai izvēlas, kur novirzīt resursus, vienkāršiem, izskaidrojamiem algoritmiem bieži ir gandrīz tāda pati prognozēšanas spēja kā melnās kastes paņēmieniem, piemēram, dziļai apmācībai. Tādējādi melnās kastes tehnikas papildu ieguvums nav interpretējamības lielo izmaksu vērts.
Rezultāti ne vienmēr nozīmē, ka prognozēšanas algoritmi, neatkarīgi no tā, vai tie ir balstīti uz mašīnmācību vai nē, nekad nebūs noderīgi instrumenti politikas pasaulē. Daži pētnieki norāda, piemēram, ka dati, kas savākti socioloģijas pētījumu vajadzībām, atšķiras no datiem, kas parasti tiek analizēti politikas veidošanā.
Rašida Ričardsone, AI Now institūta politikas direktore, kas pēta AI sociālo ietekmi, arī atzīmē bažas par prognozēšanas problēmas formulējumu. Viņa saka, ka, piemēram, tas, vai bērnam ir smiltis, pēc būtības ir subjektīvs spriedums, kas, kā liecina pētījumi, ir rasistisks konstrukts panākumu un snieguma mērīšanai. Šī detaļa nekavējoties lika viņai domāt: Ak, tas nekādā gadījumā neizdosies.
Salganik arī atzīst pētījuma ierobežojumus.
Taču viņš uzsver, ka tas parāda, kāpēc politikas veidotājiem vajadzētu būt uzmanīgākiem, lai pārredzamā veidā novērtētu algoritmisko rīku precizitāti. Viņš piebilst, ka liels datu apjoms un sarežģīta mašīnmācīšanās negarantē precīzu prognozēšanu. Politikas veidotājiem, kuriem nav tik lielas pieredzes darbā ar mašīnmācību, var būt nereālas cerības par to.
Lai vairāk šādu stāstu tiktu piegādāts tieši jūsu iesūtnē, reģistrējieties mūsu Webby nominētajam AI informatīvajam izdevumam The Algorithm. Tas ir par brīvu.