Algoritmu neobjektivitātes pārbaude

Tiesas, bankas un citas iestādes izmanto automatizētas datu analīzes sistēmas, lai pieņemtu lēmumus par jūsu dzīvi. Neatstāsim algoritmu veidotāju ziņā izlemt, vai viņi to dara pareizi. Autors

• Metjū Spīlkamps arhīva lapa

2017. gada 12. jūnijs

Pols Delkāns

Tas bija pārsteidzošs stāsts. Mašīnas novirze, lasītais virsraksts un teaser pasludināja : visā valstī tiek izmantota programmatūra, lai prognozētu nākotnes noziedzniekus. Un tas ir neobjektīvs pret melnādainajiem.

ProPublica, Pulicera balvu ieguvusi bezpeļņas ziņu organizācija, bija analizējusi riska novērtēšanas programmatūru, kas pazīstama kā COMPAS. To izmanto, lai prognozētu, kuri noziedznieki, visticamāk, atkārtoti izdarīs noziegumus. Vadoties pēc šādām prognozēm, tiesneši tiesu zālēs visā ASV pieņem lēmumus par apsūdzēto un notiesāto nākotni, nosakot visu, sākot no drošības naudas līdz sodam. Kad ProPublica salīdzināja COMPAS riska novērtējumus par vairāk nekā 10 000 cilvēku arestēts vienā Floridas apgabalā ar to, cik bieži šie cilvēki faktiski atkārtoja noziegumus, tika atklāts, ka algoritms pareizi paredzēja melnbalto apsūdzēto recidīvu aptuveni tādā pašā ātrumā. Bet, kad algoritms bija nepareizs, melnajiem un baltajiem tas bija nepareizi. Precīzāk, melnādainajiem ir gandrīz divreiz lielāka iespēja nekā baltajiem tikt apzīmēti kā riskanti, taču tie faktiski netiek atkārtoti apvainoti. Un COMPAS mēdza pieļaut pretēju kļūdu ar baltajiem: viņi daudz biežāk nekā melnādainie tiek uzskatīti par zemāka riska kategorijām, taču viņi turpina pastrādāt citus noziegumus.

Pārskatītās lietas

• Mašīnas novirze

  ProPublica, 2016. gada 23. maijs

  
  
  

• COMPAS riska skalas: parāda precizitātes kapitālu un paredzamo paritāti

  Nortpointa, 2016. gada 8. jūlijs

• Tehniskā atbilde uz Northpointe

  ProPublica, 2016. gada 29. jūlijs

• Viltus pozitīvi, viltus negatīvi un viltus analīzes: atbilde uz “Machine Bias”

  Entonijs Floress, Kristofers Lovenkamps un Kristīna Behtela
  2016. gada 10. augusts

  
  
  

Šis stāsts bija daļa no mūsu 2017. gada jūlija numura

• Skatiet pārējo izdevuma daļu
• Abonēt

Tas, vai ir lietderīgi izmantot tādas sistēmas kā COMPAS, ir jautājums, kas pārsniedz rasu aizspriedumus. ASV Augstākā tiesa drīzumā varētu izskatīt lietu pret Viskonsinas notiesāto, kurš apgalvo, ka tika pārkāptas viņa tiesības uz pienācīgu procesu, kad tiesnesis, kurš viņam piesprieda sodu, konsultējās ar COMPAS, jo apsūdzētajam sistēmas darbība bija neskaidra. Iespējamas problēmas ar citām automatizētām lēmumu pieņemšanas (ADM) sistēmām pastāv arī ārpus tiesu sistēmas. Pamatojoties uz tiešsaistes personības testiem, ADM palīdz noteikt, vai kāds ir piemērots darbam. Kredīta vērtēšanas algoritmiem ir milzīga nozīme, vai jūs saņemat hipotēku, kredītkarti vai pat visrentablākos mobilo tālruņu darījumus.

Ne vienmēr ir slikta ideja izmantot riska novērtēšanas sistēmas, piemēram, COMPAS. Daudzos gadījumos ADM sistēmas var palielināt godīgumu. Cilvēku lēmumu pieņemšana dažkārt ir tik nesakarīga, ka ir nepieciešama pārraudzība, lai tos saskaņotu ar mūsu taisnīguma standartiem. Kā parādīja viens īpaši satraucošs pētījums, nosacītas atbrīvošanas padomes bija lielāka iespēja atbrīvot notiesātos ja tiesnešiem tikko būtu bijis ēdienreizes pārtraukums. Tas, iespējams, tiesnešiem nekad nebija ienācis prātā. ADM sistēma varētu atklāt šādas neatbilstības un uzlabot procesu.

Taču bieži vien mēs nezinām pietiekami daudz par to, kā darbojas ADM sistēmas, lai zinātu, vai tās ir godīgākas nekā cilvēki. Daļēji tāpēc, ka sistēmas izdara izvēli, pamatojoties uz pamatā esošajiem pieņēmumiem, kas nav skaidri pat sistēmu izstrādātājiem, ne vienmēr ir iespējams noteikt, kuri algoritmi ir neobjektīvi un kuri ne. Un pat tad, ja atbilde šķiet skaidra, piemēram, ProPublica atklājumos par COMPAS, patiesība dažreiz ir sarežģītāka.

Likumdevējiem, tiesām un informētai sabiedrībai būtu jāizlemj, kam mēs vēlamies, lai algoritmi piešķirtu prioritāti.

Kas mums jādara, lai labāk pārvaldītu ADM? Demokrātiskām sabiedrībām ir vajadzīga lielāka pārraudzība pār šādām sistēmām nekā pašlaik. AlgorithmWatch, Berlīnē bāzēta bezpeļņas aizstāvības organizācija, kuru es nodibināju kopā ar datorzinātnieku, juridisko filozofu un kolēģi žurnālistu, cenšas palīdzēt cilvēkiem izprast šādu sistēmu ietekmi. Fakts, ka lielākā daļa ADM procedūru ir melnās kastes cilvēkiem, kurus tās ietekmē, nav dabas likums. Tam ir jābeidzas, mēs apgalvojam mūsu manifestā . Tomēr mūsu attieksme pret šo jautājumu atšķiras no daudzu kritiķu domām, jo ​​mēs baidāmies, ka tehnoloģija varētu tikt nepelnīti demonizēta. Svarīgi ir tas, ka sabiedrība, nevis tikai algoritmu veidotāji, pieņem vērtību spriedumus, kas tiek izmantoti ADM.

Taisnīguma pasākumi

COMPAS nosaka savus riska rādītājus no atbildēm uz a anketa kas pēta apsūdzētā kriminālo vēsturi un attieksmi pret noziegumiem. Vai tas rada neobjektīvus rezultātus?

Pēc ProPublica izmeklēšanas uzņēmums Northpointe, kas izstrādāja COMPAS, apstrīdēja stāstu, apgalvojot, ka žurnālisti nepareizi interpretējuši datus. Tā darīja trīs krimināltiesību pētnieki , tostarp no tieslietu reformas organizācijas. Kuram ir taisnība — reportieriem vai pētniekiem? Krišna Gummadi (Krishna Gummadi), Max Planck Programmatūras sistēmu institūta Zārbrikenē, Vācijā, tīkla sistēmu pētniecības grupas vadītājs, piedāvā pārsteidzošu atbildi: viņi visi ir tādi.

Gummadi, kurš ir plaši pētījis algoritmu godīgumu, saka, ka ProPublica un Northpointe rezultāti nav pretrunā viens otram. Tie atšķiras, jo izmanto dažādus godīguma mērus.

Ja tos izmanto pareizi, krimināltiesību algoritmi sniedz iespēju paaudzei un, iespējams, visu mūžu, lai reformētu notiesāšanu un zinātniskā veidā atbrīvotos no masveida ieslodzījuma.

Iedomājieties, ka veidojat sistēmu, lai paredzētu, kuri noziedznieki atkārtoti izdarīs noziegumu. Viena no iespējām ir optimizēt patiesi pozitīvas lietas, kas nozīmē, ka jūs identificēsit pēc iespējas vairāk cilvēku, kuriem ir augsts risks izdarīt citu noziegumu. Viena no šīs pieejas problēmām ir tāda, ka tai ir tendence palielināt viltus pozitīvu rezultātu skaitu: cilvēkus, kuri tiks nepamatoti klasificēti kā iespējami atkārtoti likumpārkāpēji. Ciparnīcu var noregulēt tā, lai sniegtu pēc iespējas mazāk viltus pozitīvu rezultātu, taču tas mēdz radīt vairāk viltus negatīvu rezultātu: iespējami atkārtoti likumpārkāpēji, kuri izslīd cauri un saņem saudzīgāku attieksmi, nekā paredzēts.

Patiesi pozitīvo rezultātu biežuma palielināšana vai viltus pozitīvu rezultātu samazināšana ir abi veidi, kā uzlabot statistisko mērījumu, kas pazīstams kā pozitīva paredzamā vērtība jeb PPV. Tas ir procentuālais daudzums no visiem pozitīvajiem, kas ir patiesi.

Kā norāda Gummadi, ProPublica salīdzināja viltus pozitīvos rādītājus un viltus negatīvos rādītājus melnādainajiem un baltajiem un atklāja, ka tie ir šķībi par labu baltajiem. Turpretim Northpointe salīdzināja dažādu rasu PPV un atklāja, ka tie ir līdzīgi. Daļēji tāpēc, ka melnādaino un balto cilvēku recidīva rādītāji patiesībā atšķiras, ir matemātiski iespējams, ka katras grupas cilvēku pozitīvās paredzamās vērtības būs līdzīgas, bet viltus negatīvo gadījumu skaits nav.

Viena lieta, ko tas mums saka, ir tāda, ka plašākai sabiedrībai — likumdevējiem, tiesām, informētai sabiedrībai — ir jāizlemj, kam mēs vēlamies, lai šādi algoritmi piešķirtu prioritāti. Vai mēs galvenokārt esam ieinteresēti izmantot pēc iespējas mazāk iespēju, ka kāds izlaidīs drošības naudu vai atkārtoti izdarīs noziegumu? Kādi kompromisi mums būtu jāveic, lai nodrošinātu taisnīgumu un samazinātu ieslodzījuma lielās sociālās izmaksas?

Neatkarīgi no tā, kādā veidā ir iestatītas ciparnīcas, jebkuram algoritmam būs novirzes — tas galu galā paredz prognozes, pamatojoties uz vispārinātu statistiku, nevis uz personas individuālo situāciju. Taču mēs joprojām varam izmantot šādas sistēmas, lai pieņemtu lēmumus, kas ir gudrāki un taisnīgāki par tiem, ko cilvēki mēdz pieņemt paši.

Strīdi, kas saistīti ar Ņujorkas policijas departamenta apstāšanās un apturēšanas praksi, palīdz parādīt, kāpēc. Laikā no 2004. gada janvāra līdz 2012. gada jūnijam Ņujorkas policija veica 4,4 miljonus apstāšanās saskaņā ar programmu, kas ļāva darbiniekiem uz laiku aizturēt, iztaujāt un pārmeklēt cilvēkus uz ielas, meklējot ieročus un citu kontrabandu. Taču patiesībā 88 procenti no 4,4 miljoniem pieturu neļāva veikt nekādas darbības — tas nozīmē, ka lielākā daļa apturēto nedarīja neko sliktu. Ņujorkas Laiks teica ievadrakstā, nosodot šo praksi. Vēl vairāk: aptuveni 83 procentos gadījumu apturētā persona bija melnādains vai spāņu izcelsmes, lai gan abas grupas veidoja nedaudz vairāk par pusi no visiem iedzīvotājiem. Šis cilvēku aizspriedumu piemērs, kas izgaismots, izmantojot datu analīzi, ir atgādinājums, ka ADM sistēmām varētu būt pozitīva nozīme krimināltiesībās. Saskaņā ar Entonijs Floress, Kristofers Lovenkamps un Kristīna Behtela, trīs pētnieki, kuri atklāja ProPublica metodoloģijas trūkumus, tos izmanto pareizi, tie piedāvā iespēju paaudzei un, iespējams, visu mūžu, lai reformētu notiesāšanu un atbrīvotu masu ieslodzījumu. izmanto, lai analizētu COMPAS. Autori uztraucas, ka šī iespēja pazūd dezinformācijas un pārpratumu dēļ par tehnoloģiju.

Bet, ja mēs pieņemam, ka algoritmi var padarīt dzīvi godīgāku, ja tie ir labi izstrādāti, kā mēs varam zināt, vai tie ir tik izstrādāti?

Demokrātiskām sabiedrībām tagad būtu jāstrādā, lai noteiktu, cik lielu pārredzamību tās sagaida no ADM sistēmām. Vai mums ir nepieciešami jauni programmatūras noteikumi, lai nodrošinātu, ka to var pareizi pārbaudīt? Likumdevējiem, tiesnešiem un sabiedrībai vajadzētu lemt par to, kuri godīguma pasākumi ir prioritāri, izmantojot algoritmus. Bet, ja algoritmi faktiski neatspoguļo šos vērtību spriedumus, kurš tiks saukts pie atbildības?

Šie ir smagie jautājumi, uz kuriem mums ir jāatbild, ja mēs ceram gūt labumu no algoritmiskās tehnoloģijas sasniegumiem.

Matiass Spīlkamps ir AlgorithmWatch izpilddirektors, interešu aizstāvības grupa, kas analizē automatizētas lēmumu pieņemšanas riskus un iespējas.

paslēpties