Vai jūs varat padarīt AI godīgāku par tiesnesi? Spēlējiet mūsu tiesas zāles algoritmu spēli

Selmana dizains

Bērnībā jūs attīstāt sajūtu, ko nozīmē taisnīgums. Tas ir jēdziens, ko jūs apgūstat agri, kad saprotat apkārtējo pasauli. Kaut kas vai nu šķiet taisnīgs, vai ne.

Taču arvien biežāk algoritmi ir sākuši noteikt mūsu taisnīgumu. Viņi izlemj, kurš redz mājokļu sludinājumus, kurš tiek pieņemts darbā vai atlaists un pat kurš tiek nosūtīts uz cietumu. Līdz ar to cilvēkiem, kas tos izveido — programmatūras inženieriem — tiek lūgts formulēt, ko nozīmē būt godīgam savā kodā. Tāpēc regulatori visā pasaulē tagad cīnās ar jautājumu: kā jūs varat matemātiski noteikt taisnīgumu?

Šis stāsts mēģina piedāvāt atbildi. Un, lai to izdarītu, mums ir nepieciešama jūsu palīdzība. Mēs izpētīsim īstu algoritmu, kuru izmantoja, lai izlemtu, kurš tiks nosūtīts uz cietumu, un lūgsim jūs pielāgot dažādus tā parametrus, lai padarītu tā rezultātus godīgākus. (Neuztraucieties — tas nav saistīts ar koda skatīšanu!)

Algoritms, kuru mēs pārbaudām ir pazīstams kā COMPAS, un tas ir viens no vairākiem dažādiem riska novērtēšanas rīkiem, ko izmanto ASV krimināltiesību sistēmā.

Augstā līmenī COMPAS ir jāpalīdz tiesnešiem noteikt, vai apsūdzētais ir jātur cietumā vai jālaiž ārā, gaidot tiesu. Tas apmāca vēsturiskos apsūdzēto datus, lai atrastu korelācijas starp tādiem faktoriem kā personas vecums un vēsture ar krimināltiesisko sistēmu un to, vai persona tika atkārtoti arestēta. Pēc tam tā izmanto korelācijas, lai prognozētu iespējamību, ka apsūdzētais tiks arestēts par jaunu noziegumu tiesas gaidīšanas periodā.1

Zemsvītras piezīme

• 1. Aresti pret notiesāšanu

  Šis process ir ļoti nepilnīgs. Šie rīki izmanto arestus kā noziegumu aizstājēju, taču patiesībā pastāv lielas atšķirības starp abiem, jo ​​policija ir neproporcionāli arestējusi rasu minoritātes un manipulējusi ar datiem. Turklāt aizturēšana bieži tiek veikta par tehniskiem pārkāpumiem, piemēram, neierašanos tiesā, nevis par atkārtotu noziedzīgu darbību. Šajā stāstā mēs pārāk vienkāršojam, lai pārbaudītu, kas notiktu, ja aresti atbilstu faktiskiem noziegumiem.

  
  
  

Šī prognoze ir pazīstama kā atbildētāja riska rādītājs, un tas ir domāts kā ieteikums: augsta riska apsūdzētie ir jāsēž cietumā, lai novērstu iespējamu kaitējumu sabiedrībai; zema riska apsūdzētie pirms tiesas ir jāatbrīvo. (Patiesībā tiesneši ne vienmēr sekot šos ieteikumus, taču riska novērtējumi joprojām ir ietekmīgi.)

Riska novērtēšanas rīku atbalstītāji apgalvo, ka tie padara krimināltiesisko sistēmu taisnīgāku. Tie aizstāj tiesnešu intuīciju un aizspriedumus, jo īpaši rasu aizspriedumus, ar šķietami objektīvāku novērtējumu. Viņi arī var aizstāt praksi iemaksāt drošības naudu ASV, kas paredz, ka apsūdzētajiem ir jāmaksā naudas summa par atbrīvošanu. Drošības nauda diskriminē nabadzīgos amerikāņus un nesamērīgi ietekmē melnādainos apsūdzētos, kuri krimināltiesību sistēmā ir pārāk pārstāvēti.

Zemsvītras piezīme

• 2. ProPublica metodoloģija

  Attiecībā uz apsūdzētajiem, kuri tika ieslodzīti pirms tiesas, ProPublica pārbaudīja, vai viņi tika atkārtoti arestēti divu gadu laikā pēc atbrīvošanas. Pēc tam tā izmantoja to, lai aptuveni noteiktu, vai apsūdzētie būtu atkārtoti apcietināti pirmstiesas laikā, ja viņi nebūtu ieslodzīti.

  
  
  

Kā noteikts likumā, COMPAS riska rādītāju aprēķināšanā neietver rasi. Tomēr 2016. gadā a ProPublica izmeklēšana iebilda, ka instruments bija joprojām neobjektīvi pret melnajiem. ProPublica atklāja, ka starp apsūdzētajiem, kuri nekad netika arestēti, COMPAS divreiz biežāk nekā baltie apsūdzētie tika atzīti par riskantiem.2.

Tāpēc mūsu uzdevums tagad ir mēģināt uzlabot COMPAS. Vai esat gatavs?

Sāksim ar tā pati datu kopa ko ProPublica izmantoja savā analīzē. Tajā ir iekļauti visi apsūdzētie, kas no 2013. līdz 2014. gadam Brovardas apgabalā, Floridā, ieguvuši rezultātus, izmantojot COMPAS algoritmu. Kopumā tas ir vairāk nekā 7200 profilu ar katras personas vārdu, vecumu, rasi un COMPAS riska rādītāju, norādot, vai persona galu galā tika aizturēta pēc tam. tiek atbrīvots vai ieslodzīts pirmstiesas laikā.

Lai datus būtu vieglāk vizualizēt, mēs esam nejauši atlasījuši 500 melnbaltus apsūdzētos no pilna komplekta.

Mēs esam attēlojuši katru apsūdzēto kā punktu.

Atcerieties: visi šie punkti ir cilvēki, kas apsūdzēti (bet nav notiesāti) noziegumā. Daži tiks ieslodzīti pirmstiesas laikā; citi tiks nekavējoties atbrīvoti. Daži pēc atbrīvošanas tiks atkārtoti arestēti; citi to nedarīs. Mēs vēlamies salīdzināt divas lietas: prognozes (kurus atbildētājus saņēma augstu un zemu riska punktu skaitu) un reālos rezultātus (kurus atbildētājus saņēma patiesībā tika atkārtoti arestēts pēc atbrīvošanas).

COMPAS novērtē apsūdzētos skalā no 1 līdz 10, kur 1 aptuveni atbilst 10% iespējamībai tikt aizturētam, 2 līdz 20% un tā tālāk.

Apskatīsim, kā COMPAS guva visus punktus.

Zemsvītras piezīme

• 3. COMPAS rezultāti

  COMPAS tika izstrādāts, lai sniegtu apkopotas prognozes par cilvēku grupām, kurām ir līdzīgas īpašības, nevis prognozes par konkrētām personām. Metodoloģija, kas balstīta uz tā punktiem un ieteikumiem to lietošanai, ir sarežģītāka, nekā mums bija vieta; Jūs varat lasīt par tiem iepriekš norādītajā saitē.

Lai gan COMPAS var piedāvāt tikai statistisku varbūtību, ka apsūdzētais tiks atkārtoti apcietināts pirmstiesas laikā, tiesnešiem, protams, ir jāpieņem lēmums 'viss vai nekas': vai atbildētāju atbrīvot vai aizturēt. Šī stāsta vajadzībām mēs izmantosim COMPAS augsta riska slieksni, 7 balles vai augstāku, lai sniegtu ieteikumu par apsūdzēto aizturēšanu.3

No šī brīža jūs esat atbildīgs. Jūsu uzdevums ir pārveidot šī algoritma pēdējo posmu, atrodot godīgāku vietu augsta riska sliekšņa iestatīšanai.

Šādi izskatīsies jūsu slieksnis. Mēģiniet noklikšķināt uz tā un velciet to apkārt.

Tāpēc vispirms iedomāsimies labāko scenāriju: visi apsūdzētie, kuriem jūsu algoritms ir apzīmēts ar augstu riska rādītāju, tiek atkārtoti arestēti, bet visi apsūdzētie, kuriem ir zems riska rādītājs, tas netiek apcietināts. Zemāk mūsu grafikā ir parādīts, kā tas varētu izskatīties. Aizpildītie apļi ir apsūdzētie, kuri tika atkārtoti arestēti; tukšie apļi ir tie, kuri nebija.

Tagad pārvietojiet slieksni, lai padarītu algoritmu pēc iespējas godīgāku.

(Citiem vārdiem sakot, cietumā vajadzētu ieslodzīt tikai atkārtoti arestētos apsūdzētos.)

Lieliski! Tas bija viegli. Jūsu slieksnis ir jānosaka no 6 līdz 7. Neviens netika nevajadzīgi aizturēts, un neviens, kurš tika atbrīvots, pēc tam netika arestēts.

Bet, protams, šis ideālais scenārijs nekad nenotiek. Nav iespējams precīzi paredzēt iznākumu katram cilvēkam. Tas nozīmē, ka aizpildītos un tukšos punktus nevar tik precīzi atdalīt.

Tātad, lūk, kurš patiesībā tiek atkārtoti arestēts.

Tagad vēlreiz pārvietojiet slieksni, lai padarītu algoritmu pēc iespējas godīgāku.

(Padoms: jūs vēlaties palielināt tā precizitāti.)

Jūs ievērosiet, ka neatkarīgi no tā, kur novietojat slieksni, tas nekad nav ideāls: mēs vienmēr ieslodzām dažus apsūdzētos, kuri netiek atkārtoti arestēti (tukši punkti pa labi no sliekšņa), un atbrīvo dažus apsūdzētos, kuri tiek atkārtoti arestēti (aizpilda punktus pa kreisi no sliekšņa). Tas ir kompromiss, ar kuru mūsu krimināltiesiskā sistēma vienmēr ir bijusi galā, un tas neatšķiras, ja mēs izmantojam algoritmu.

Lai padarītu šos kompromisus skaidrākus, apskatīsim nepareizo COMPAS prognožu procentuālo daļu katra Puse no sliekšņa, nevis tikai mērot kopējo precizitāti. Tagad mēs varēsim skaidri redzēt, vai mūsu slieksnis veicina cilvēku nevajadzīgu turēšanu cietumā vai to cilvēku atbrīvošanu, kuri pēc tam tiek arestēti no jauna.4 Ņemiet vērā, ka COMPAS noklusējuma slieksnis dod priekšroku pēdējam.

Zemsvītras piezīme

• 4. Tehniskās definīcijas

  Šie divi kļūdu procenti ir zināmi arī kā viltus negatīvais rādītājs (ko esam norādījuši par atbrīvotu, bet atkārtoti arestētu) un viltus pozitīvo rādītāju (kuru esam apzīmējuši kā nevajadzīgi ieslodzīti).

Kā mums vajadzētu godīgi līdzsvarot šo kompromisu? Nav universālas atbildes, taču 1760. gados angļu tiesnesis Viljams Blekstons rakstīja: Labāk, ja desmit vainīgie izbēg, nekā ciest viens nevainīgais.

Blekstona attiecība joprojām ir ļoti ietekmīgs ASV. Tāpēc izmantosim to iedvesmai.

Pārvietojiet slieksni līdz vietai, kur atbrīvoto, bet atkārtoti arestēto procentuālais daudzums ir aptuveni 10 reizes lielāks par nevajadzīgi ieslodzīto procentuālo daļu.

Jau tagad var redzēt divas problēmas izmantojot tādu algoritmu kā COMPAS. Pirmkārt, labāka prognozēšana vienmēr var palīdzēt samazināt kļūdu līmeni, taču tā nekad nevar tos pilnībā novērst. Neatkarīgi no tā, cik daudz datu mēs apkopojam, divi cilvēki, kas pēc algoritma izskatās vienādi, vienmēr var izdarīt dažādas izvēles.

Otra problēma ir tāda, ka pat tad, ja jūs konsekventi ievērojat COMPAS ieteikumus, kādam — cilvēkam — vispirms ir jāizlemj, kur būtu jāatrodas augsta riska slieksnim, vai izmantojot Blackstone koeficientu vai ko citu. Tas ir atkarīgs no visa veida apsvērumiem — politiskiem, ekonomiskiem un sociāliem.

Tagad mēs nonāksim pie trešās problēmas. Šeit mūsu godīguma izpēte sāk kļūt interesanta. Kā kļūdu īpatsvars atšķiras dažādās grupās? Vai ir daži cilvēku veidi, kuri, visticamāk, tiks nevajadzīgi aizturēti?

Apskatīsim, kā izskatās mūsu dati, ņemot vērā apsūdzēto rasi.

Tagad pārvietojiet katru slieksni, lai redzētu, kā tas atšķirīgi ietekmē melnbaltos apsūdzētos.

Rase ir aizsargātas klases piemērs ASV, kas nozīmē, ka diskriminācija uz šī pamata ir nelikumīga. Citas aizsargātas klases ietver dzimumu, vecumu un invaliditāti.

Tagad, kad esam atdalījuši melnbaltos apsūdzētos, esam atklājuši, ka, lai gan COMPAS riska rādītāju aprēķināšanai netiek izmantota rase, abām grupām ir atšķirīgs kļūdu līmenis. Pēc noklusējuma COMPAS sliekšņa no 7 līdz 8 16% melnādaino apsūdzēto, kuri netiek atkārtoti arestēti, ir nevajadzīgi ieslodzīti, bet tas pats attiecas tikai uz 7% baltādaino apsūdzēto. Tas nemaz nešķiet godīgi! Tas ir tieši tas, ko ProPublica izcelts savā izmeklēšanā.

Labi, izlabosim to.

Pārvietojiet katru slieksni, lai baltie un melnie apsūdzētie tiktu nevajadzīgi ieslodzīti aptuveni vienādi.

(Ir vairāki risinājumi. Mēs esam izvēlējušies vienu, taču varat mēģināt atrast citus.)

Mēs mēģinājām vēlreiz sasniegt Blekstona attiecību, tāpēc nonācām pie šāda risinājuma: balto apsūdzēto slieksnis ir no 6 līdz 7, savukārt melnādainajiem apsūdzētajiem ir slieksnis no 8 līdz 9. Tagad aptuveni 9% gan melnā, gan balto apsūdzēto, kuri to nedara. t atkārtoti arestēti tiek nevajadzīgi ieslodzīti, savukārt 75% no tiem, kuri to dara, tiek atkārtoti arestēti pēc tam, kad nav pavadījuši laiku cietumā. Labs darbs! Jūsu algoritms šobrīd šķiet daudz godīgāks nekā COMPAS.

Bet pagaidiet - vai tā ir? Saskaņojot kļūdu īpatsvaru starp sacīkstēm, mēs zaudējām kaut ko svarīgu: mūsu sliekšņi katrai grupai ir dažādās vietās, tāpēc mūsu riska rādītāji baltajiem un melnādainajiem atbildētājiem nozīmē dažādas lietas.

Baltajiem apsūdzētajiem tiek piespriests cietumsods par riska punktu 7, bet melnādainie apsūdzētie tiek atbrīvoti par tādu pašu punktu skaitu. Tas atkal nešķiet godīgi. Diviem cilvēkiem ar vienādu riska rādītāju ir vienāda iespēja tikt atkārtoti arestētiem, tāpēc vai viņiem nevajadzētu saņemt vienādu attieksmi? ASV, izmantojot dažādus sliekšņus dažādām rasēm, var rasties arī sarežģīti juridiskie jautājumi jautājumiem ar 14. grozījumu, Konstitūcijas vienlīdzīgas aizsardzības klauzulu.

Tāpēc izmēģināsim šo vēl vienu reizi ar vienu slieksni, kas ir kopīgs abām grupām.

Pārvietojiet slieksni vēlreiz, lai baltie un melnie apsūdzētie tiktu nevajadzīgi ieslodzīti vienādi.

Ja jūs jūtaties neapmierināts, tam ir labs iemesls. Risinājuma nav.

Mēs sniedzām jums divas godīguma definīcijas: saglabājiet salīdzināmu kļūdu īpatsvaru starp grupām un vienādi izturieties pret cilvēkiem ar vienādiem riska rādītājiem. Abas šīs definīcijas ir pilnībā attaisnojamas! Bet apmierināt abus vienlaikus nav iespējams.

Iemesls ir tāds, ka melnbaltie apsūdzētie tiek atkārtoti arestēti dažādos tempos. Lai gan mūsu Brovardas apgabala datos tika atkārtoti arestēti 52% melnādaino apsūdzēto, tikai 39% baltādaino apsūdzēto. Līdzīgas atšķirības pastāv daudzās ASV jurisdikcijās, daļēji tāpēc, ka valsts vēsturē policija nesamērīgi vēršas pret minoritātēm (kā mēs iepriekš minējām).

Prognozes atspoguļo datus, kas izmantoti to veidošanai — neatkarīgi no tā, vai tie tiek veikti pēc algoritma vai nē. Ja melnādaini apsūdzētie tiek arestēti biežāk nekā baltie apsūdzētie reālajā pasaulē, arī viņiem būs lielāks apcietināšanas līmenis. Tas nozīmē, ka viņiem vidēji būs augstāki riska rādītāji, un lielāka daļa no viņiem tiks apzīmēti kā augsta riska rādītāji. gan pareizi, gan nepareizi . Tā ir patiesība neatkarīgi no algoritma tiek izmantots, ja vien tas ir izstrādāts tā, lai katrs riska rādītājs nozīmē vienu un to pašu neatkarīgi no rases.

Šis dīvainais godīguma definīciju konflikts neaprobežojas tikai ar riska novērtēšanas algoritmiem krimināltiesību sistēmā. Tādi paši paradoksi attiecas uz kredītpunktu vērtēšanu, apdrošināšanu un darbā pieņemšanas algoritmiem. Jebkurā kontekstā, kurā automatizētai lēmumu pieņemšanas sistēmai ir jāsadala resursi vai sodi starp vairākām grupām, kurām ir atšķirīgi rezultāti, dažādas godīguma definīcijas neizbēgami izrādīsies viena otru izslēdzošas.

Nav algoritma, kas to varētu novērst; tas pat nav algoritmisks problēma, tiešām. Cilvēku tiesneši ir pašlaik veicot tādus pašus piespiedu kompromisus — un tas ir darīts visā vēsturē.

Bet lūk, kāds ir algoritms ir mainīts. Lai gan tiesneši ne vienmēr var skaidri noteikt, kā viņi izvēlas dažādus taisnīguma jēdzienus, cilvēki var apstrīdēt savus lēmumus. Turpretim COMPAS, ko izgatavo privāts uzņēmums Northpointe, ir komercnoslēpums, ko nevar publiski aplūkot vai nopratināt. Atbildētāji vairs nevar apšaubīt tā rezultātus, un valdības aģentūras zaudē spēju rūpīgi pārbaudīt lēmumu pieņemšanas procesu. Publiskas atbildības vairs nav.

Kas tad regulatoriem būtu jādara? Ierosinātais 2019. gada Algoritmiskās atbildības likums ir laba sākuma piemērs, saka Endrjū Selbsts, Kalifornijas Universitātes tiesību profesors, kurš specializējas mākslīgā intelekta un tiesību jomā. Likumprojektam, kura mērķis ir regulēt neobjektivitāti automatizētās lēmumu pieņemšanas sistēmās, ir divas ievērojamas iezīmes, kas kalpo kā paraugs turpmākajiem tiesību aktiem. Pirmkārt, uzņēmumiem būtu jārevidē savas mašīnmācīšanās sistēmas ietekmes novērtējumā attiecībā uz neobjektivitāti un diskrimināciju. Otrkārt, tajā nav norādīta godīguma definīcija.

Izmantojot ietekmes novērtējumu, jūs ļoti skaidri izprotat, kā jūs kā uzņēmums tuvojāties godīguma jautājumam, saka Selbsts. Tas debatēs atkal ienes sabiedrības atbildību. Tā kā taisnīgums dažādos kontekstos nozīmē dažādas lietas, viņš piebilst, izvairīšanās no konkrētas definīcijas pieļauj šo elastību.

Taču tas, vai vispirms būtu jāizmanto algoritmi, lai lemtu par taisnīgumu, ir sarežģīts jautājums. Mašīnmācības algoritmi tiek apmācīti, pamatojoties uz datiem, kas iegūti, izmantojot atstumtības un diskriminācijas vēsturi, savā grāmatā raksta Prinstonas universitātes asociētā profesore Ruha Bendžamina. Race After Technology . Riska novērtēšanas instrumenti neatšķiras. Lielāks jautājums par to izmantošanu vai jebkuru algoritmu, ko izmanto cilvēku klasificēšanai, ir tas, vai tie samazina esošo nevienlīdzību vai pasliktina to.

Selbsts iesaka rīkoties piesardzīgi: ikreiz, kad filozofiskos priekšstatus par godīgumu pārvēršat matemātiskās izteiksmēs, tie zaudē nianses, elastību un kaļamību, viņš saka. Tas nenozīmē, ka daži no efektivitātes ieguvumiem, to darot, galu galā nebūs vērtīgi. Man vienkārši ir savas šaubas.

Kārena Hao un Džonatana Straja vārdi un kods. Dizaina konsultācijas no Emily Luong un Emily Caulfield. Rediģējuši Nialls Fērts un Gideons Ličfīlds. Īpašs paldies Rašida Ričardsone no AI Now, Mutale Nkonde no Berkmana Kleina centra un Viljams Īzaks no DeepMind par pārskatīšanu un konsultācijām.

Labojums: Iepriekšējā raksta versija bija saistīta ar informāciju par riska novērtēšanas rīku, kas atšķiras no COMPAS. Tas ir noņemts, lai izvairītos no neskaidrībām.

paslēpties