211service.com
Prognozējošie policijas algoritmi ir rasistiski. Tie ir jāizjauc.
Franciska Barčika
Ješimabeita Milnere mācījās vidusskolā, kad viņa pirmo reizi ieraudzīja bērnus, kurus viņa pazīst, saslēdzam rokudzelžos un iebāzam policijas mašīnās. Bija 2008. gada 29. februāris, un tuvējās Maiami skolas direktors, kurā lielākā daļa iedzīvotāju ir haiti un afroamerikāņi, bija nosmacis vienu no saviem skolniekiem. Nākamajā dienā vairāki desmiti bērnu sarīkoja mierīgu demonstrāciju. Tas negāja labi.
Tovakar Maiami NBC 6 News at Six sākās ar segmentu ar nosaukumu Chaos on Campus. (Tur ir klips vietnē YouTube .) Pēc tam, kad cīņa par tiesībām beidzas cīņā ar likumu, Edisonas vecākajā augstskolā valda liela spriedze, teikts raidījumā. Izgrieziet izplūdušos telefona kadrus ar kliedzošiem pusaudžiem: Haoss, ko redzat, ir pilnīgs kautiņš skolas kafejnīcā.
Studenti žurnālistiem stāstīja, ka policija viņus situsi ar stekiem, nosvieda uz grīdas un piegrūda pie sienām. Policija apgalvoja, ka tieši viņiem tiek uzbrukts — ar ūdens pudelēm, gāzētiem dzērieniem, pienu un tamlīdzīgi — un aicināja sniegt ārkārtas palīdzību. Aptuveni 25 studenti tika arestēti, un daudziem tika izvirzītas apsūdzības vairākos noziegumos, tostarp pretošanās arestam ar vardarbību. Milnere atceras, ka skatījusies televizorā un redzējusi bērnus, kurus viņa bija iegājusi pamatskolā un tika aizturēta. Tas bija tik traki, viņa saka.
'Ir ilga vēsture, kad dati tiek izmantoti pret melnādainajām kopienām.'
Milneram tās dienas notikumi un to ilgtermiņa ietekme uz arestētajiem bija izšķiroša nozīme. Drīz pēc tam, vēl mācoties skolā, viņa iesaistījās uz datiem balstītā aktīvismā, dokumentējot kolēģu pieredzi rasistiskā policijas darbā. Tagad viņa ir direktore Dati Black Lives , tautas digitālo tiesību organizācija, kuru viņa līdzdibināja 2017. gadā. Tas, ko viņa uzzināja pusaudža gados, mudināja viņu cīnīties pretī dzīvē. neobjektivitāte krimināltiesību sistēmā un viņa dēvētā cauruļvada no skolas uz cietumu demontāža. Viņa saka, ka ir sena vēsture, kad dati tiek izmantoti pret melnādainajām kopienām.
Nevienlīdzība un policijas varas ļaunprātīga izmantošana ne tikai spēlēties uz ielām vai skolas nemieru laikā. Milners un citi aktīvisti tagad koncentrējas uz vietām, kur ir vislielākais potenciāls ilgstošam kaitējumam: paredzamajiem policijas rīkiem un policijas spēku ļaunprātīgai datu izmantošanai. Vairāki pētījumi liecina, ka šie rīki iemūžināt sistēmisks rasisms , taču mēs joprojām ļoti maz zinām, kā tie darbojas, kas tos izmanto un kādam nolūkam. Tas viss ir jāmaina, lai varētu veikt pareizu aprēķinu. Par laimi, paisums var mainīties.
Ir divi plaši paredzamo policijas rīku veidi. Uz atrašanās vietu balstīti algoritmi izmanto saiknes starp vietām, notikumiem un vēsturisko noziedzības līmeni, lai paredzētu, kur un kad noziegumi varētu notikt, piemēram, noteiktos laika apstākļos vai lielos sporta pasākumos. Instrumenti identificē karstos punktus, un policija plāno patruļas ap šiem padomiem. Viens no visizplatītākajiem, ko sauc par PredPol, ko izmanto desmitiem pilsētu ASV , sadala atrašanās vietas 500 x 500 pēdu kvartālos un atjaunina prognozes visas dienas garumā — tā ir sava veida noziedzības laika prognoze.
Citi rīki izmanto datus par cilvēkiem, piemēram, viņu vecumu, dzimumu, ģimenes stāvokli, narkotiku lietošanas vēsturi un sodāmību, lai prognozētu, kam ir liela iespēja iesaistīties turpmākās noziedzīgās darbībās. Šos uz personām balstītus rīkus var izmantot gan policija, gan, lai iejauktos pirms nozieguma izdarīšanas, vai tiesas, lai pirmstiesas uzklausīšanas vai notiesāšanas laikā noteiktu, vai kāds, kurš ir arestēts, varētu atkārtoti izdarīt noziegumu. Piemēram, rīks COMPAS, ko izmanto daudzās jurisdikcijās, lai palīdzētu pieņemt lēmumus par pirmstiesas atbrīvošanu un notiesāšanu, izdod statistisko punktu skaitu no 1 līdz 10, lai noteiktu, cik liela ir iespējamība, ka persona tiks apcietināta, ja tā tiks atbrīvota.
Problēma ir saistīta ar datiem, no kuriem algoritmi barojas. Pirmkārt, prognozējošos algoritmus viegli sagroza aizturēšanas līmenis. Saskaņā ar ASV Tieslietu ministrijas datiem jūs esat vairāk nekā divas reizes lielāka iespēja tikt arestētam ja esat melnādains, nekā tad, ja esat balts. Ir piecas reizes lielāka iespēja, ka melnādains tiks apturēts bez iemesla, nekā baltādains. Masu arests Edison Senior High bija tikai viens piemērs nesamērīgai policijas reakcijai, kas nav nekas neparasts melnādaino kopienās.
Bērniem, kurus Milners skatījās, kā tiek arestēts, šī aizturēšanas ieraksta dēļ tika sagatavoti neobjektīvi vērtējumi visa mūža garumā. Taču tajā dienā tika ietekmēta ne tikai viņu pašu dzīve. Viņu arestu radītie dati būtu ievadīti algoritmos, kas nesamērīgi būtu vērsti uz visiem melnādainajiem jauniešiem, kuru algoritmi novērtēja. Lai gan saskaņā ar likumu algoritmi neizmanto rasi kā prognozētāju, citi mainīgie, piemēram, sociālekonomiskā izcelsme, izglītība un pasta indekss, darbojas kā starpniekserveri. Pat nepārprotami neņemot vērā rasi, šie rīki ir rasistiski.
Tāpēc daudziem problēma ir pati paredzamās policijas darbības koncepcija. Rakstnieks un akadēmiķis Dorotija Robertsa , kurš studē tiesības un sociālās tiesības Pensilvānijas Universitātē, labi izteicās tiešsaistes paneļdiskusija jūnijā. Viņa sacīja, ka rasisms vienmēr ir bijis saistīts ar prognozēšanu, liekot šķist, ka tām ir nosliece uz sliktu darbību un tāpēc attaisno to kontroli.
Riska novērtējumi ir bijuši daļa no krimināltiesību sistēmas gadu desmitiem. Taču policijas departamenti un tiesas pēdējos gados ir vairāk izmantojuši automatizētos rīkus divu galveno iemeslu dēļ. Pirmkārt, budžeta samazinājumi ir noveduši pie efektivitātes palielināšanas. Cilvēki zvana, lai atmaksātu policiju, taču viņi jau ir atmaksāti, saka Milners. Pilsētas ir sabrukušas gadiem ilgi, un tās ir aizstājušas policistus ar algoritmiem. Precīzus skaitļus ir grūti iegūt, taču tiek uzskatīts, ka prognozēšanas rīkus izmanto policijas spēki vai tiesas lielākajā daļā ASV štatu.
Otrs algoritmu pieaugošās izmantošanas iemesls ir plaši izplatītais uzskats, ka tie ir objektīvāki nekā cilvēki: tie vispirms tika ieviesti, lai padarītu lēmumu pieņemšanu krimināltiesību sistēmā taisnīgāku. Sākot ar 90. gadiem, agrīnās automatizētās tehnikas izmantoja uz likumiem balstītus lēmumu kokus, taču mūsdienās prognozēšana tiek veikta, izmantojot mašīnmācīšanos.
MĀLA BANKAS, VIA UNSPLASHTomēr pieaugošie pierādījumi liecina, ka šajos instrumentos ir iestrādāti cilvēku aizspriedumi, jo mašīnmācības modeļi ir apmācīti, pamatojoties uz neobjektīviem policijas datiem. Neizvairās no rasisma, viņi var vienkārši labāk to slēpt. Daudzi kritiķi tagad uzskata šos rīkus par tehniskās mazgāšanas veids , kur objektivitātes finierējums aptver mehānismus, kas saglabā nevienlīdzību sabiedrībā.
Patiesībā tikai pēdējos gados cilvēku uzskati par šiem rīkiem ir mainījušies no tādiem rīkiem, kas varētu mazināt neobjektivitāti, uz kaut ko tādu, kas varētu to nostiprināt, saka. Alise Sjans , jurists un datu zinātnieks, kurš vada pētījumus par godīgumu, pārredzamību un atbildību AI partnerībā. Šīs novirzes ir palielinājušās, kopš pirms 20 vai 30 gadiem parādījās pirmās paaudzes prognozēšanas rīki. Vispirms mēs paņēmām sliktus datus un pēc tam izmantojām rīkus, lai tos pasliktinātu, saka Keitija Vetingtone , kurš Kolorādo Bolderas universitātē studē algoritmisko neobjektivitāti. Tā atkal un atkal ir bijusi sevi pastiprinoša cilpa.
Lietas varētu pasliktināties. Pēc protesti par policijas aizspriedumiem pēc Džordža Floida nāves policijas darbinieka rokās Mineapolē daži policijas departamenti dubulto prognozēšanas rīku izmantošanu. Pirms mēneša Ņujorkas policijas departamenta komisārs Dermots Šī nosūtīja vēstuli saviem darbiniekiem. Pašreizējos apstākļos noziedzība ir jācīnās savādāk, viņš rakstīja. Mēs to darīsim ar mazāku pieturu skaitu ielās — iespējams, pakļaujot jūs mazākai briesmām un atbildībai —, vienlaikus labāk izmantojot datus, izlūkdatus un visas mūsu rīcībā esošās tehnoloģijas... Tas nozīmē, ka no NYPD puses mēs dubultosim savu precizitāti. policijas centieni.
Policijai patīk ideja par rīkiem, kas viņus uzmundrina un ļauj savlaicīgi iejaukties, jo viņi domā, ka tas samazina noziedzības līmeni, saka: Rašida Ričardsone , AI Tagad institūta politikas pētījumu direktors. Taču praksē to lietošana var šķist uzmākšanās. Pētnieki ir noskaidrojuši, ka daži policijas departamenti sniedz darbiniekiem visvairāk meklēto cilvēku sarakstus, kurus rīks identificē kā paaugstinātu risku. Pirmo reizi tas atklājās, kad cilvēki Čikāgā ziņoja, ka policija klauvējusi pie viņu durvīm un paziņojusi, ka viņi tiek novēroti. Citos štatos, saka Ričardsons, policija brīdināja sarakstos iekļautos cilvēkus, ka viņiem ir liels risks tikt iesaistītiem ar bandām saistītos noziegumos, un lūdza viņus rīkoties, lai no tā izvairītos. Ja viņi vēlāk tika arestēti par jebkāda veida noziegumiem, prokurori izmantoja iepriekšēju brīdinājumu, lai izvirzītu augstākas apsūdzības. Tas ir gandrīz kā digitāls ieslodzījuma veids, kad jūs sniedzat cilvēkiem kādu neskaidru informāciju un pēc tam noturat to pret viņiem, viņa saka.
'Tas ir gandrīz kā digitāls ieslodzījuma veids.'
Tāpat arī pētījumi, tostarp vienu pasūtījis Apvienotās Karalistes valdības Datu ētikas un inovāciju centrs Pagājušajā gadā — liecina, ka noteiktu apgabalu identificēšana kā karstie punkti liek virsniekiem sagaidīt nepatikšanas patrulēšanas laikā, tādējādi viņiem ir lielāka iespēja tur apturēt vai arestēt cilvēkus aizspriedumu, nevis vajadzības dēļ.
Vēl viena problēma ar algoritmiem ir tā, ka daudzi tika apmācīti baltās populācijās ārpus ASV, daļēji tāpēc, ka dažādās ASV jurisdikcijās ir grūti iegūt sodāmības reģistrus. Static 99, rīks, kas paredzēts dzimumnoziedznieku recidīva prognozēšanai, tika apmācīts Kanādā, kur tikai aptuveni 3% iedzīvotāju ir melnādainie, salīdzinot ar 12% ASV. Vairāki citi ASV izmantotie rīki tika izstrādāti Eiropā, kur 2% iedzīvotāju ir melnādainie. Tā kā starp valstīm un iedzīvotājiem atšķiras sociālekonomiskie apstākļi, rīki, visticamāk, būs mazāk precīzi vietās, kur tie nav apmācīti. Turklāt daži pirmstiesas algoritmi, kas apmācīti pirms daudziem gadiem, joprojām izmanto pareģotājus, kas ir novecojuši. Piemēram, daži joprojām prognozē, ka apsūdzētais, kuram nav fiksētā tālruņa, visticamāk, neieradīsies tiesā.
Bet vai šie rīki darbojas, pat ja nepilnīgi? Tas ir atkarīgs no tā, ko jūs domājat ar darbu. Kopumā ir praktiski neiespējami nošķirt paredzamo policijas rīku izmantošanu no citiem faktoriem, kas ietekmē noziedzības vai ieslodzījumu skaitu. Tomēr daži nelieli pētījumi ir izdarījuši ierobežotus secinājumus. Daži liecina, ka tiesas izmantotajiem riska novērtēšanas instrumentiem ir bijusi neliela pozitīva ietekme. A 2016. gada pētījums par mašīnmācības rīku, ko izmanto Pensilvānijā, lai informētu par nosacītu atbrīvošanu neatrada nekādus pierādījumus, ka tas apdraudētu sabiedrisko drošību (tas ir, tas pareizi identificēja augsta riska personas, kuras nevajadzētu atbrīvot nosacīti), un dažus pierādījumus tam, ka tas identificēja nevardarbīgus cilvēkus, kurus varētu droši atbrīvot.
Rašida Ričardsone ir AI Tagad institūta politikas pētījumu direktore. Iepriekš viņa vadīja darbu pie juridiskajiem jautājumiem saistībā ar privātumu un uzraudzību Amerikas Pilsoņu brīvību savienībā.
PĒC AI TAGADCitā 2018. gada pētījumā tika aplūkots rīks, ko izmanto Kentuki štata tiesas un atklāja, ka, lai gan riska rādītāji tika interpretēti nekonsekventi starp apgabaliem, kā rezultātā radās atšķirības attiecībā uz to, kurš tika atbrīvots un kurš netika atbrīvots, rīks būtu nedaudz samazinājis ieslodzījumu skaitu, ja tas būtu pareizi izmantots. Un Amerikas Pilsoņu brīvību savienība ziņo, ka novērtēšanas instruments, kas pieņemts kā daļa no 2017. gada Ņūdžersijas Krimināltiesību reformas likuma, noveda pie Par 20% samazinājies to cilvēku skaits, kuri ieslodzīti, gaidot tiesu .
Šādu rīku aizstāvji saka, ka algoritmi var būt godīgāki nekā cilvēku lēmumu pieņēmēji, vai vismaz skaidri izteikt negodīgumu. Sagaidāms, ka daudzos gadījumos, īpaši pirmstiesas tiesas sēdēs par drošības naudu, tiesneši īsā laikā izskatīs vairākus desmitus lietu. Vienā pētījumā par pirmstiesas sēdēm Kuka apgabalā, Ilinoisā, pētnieki atklāja, ka tiesneši katras lietas izskatīšanai veltīja vidēji tikai 30 sekundes.
Šādos apstākļos ir saprātīgi pieņemt, ka tiesneši pieņem tūlītējus lēmumus, vismaz daļēji viņu personīgo aizspriedumu dēļ. Melisa Hamiltone Sērijas Universitātē Apvienotajā Karalistē, kas pēta juridiskos jautājumus saistībā ar riska novērtēšanas rīkiem, kritiski vērtē to izmantošanu praksē, taču uzskata, ka viņi var paveikt labāku darbu nekā principā cilvēki. Alternatīva ir cilvēka lēmumu pieņēmēja melnās kastes smadzenes, viņa saka.
Bet ir acīmredzama problēma. Aizturēšanas dati, ko izmanto, lai apmācītu prognozēšanas rīkus, nesniedz precīzu priekšstatu par noziedzīgām darbībām. Aizturēšanas dati tiek izmantoti, jo tos reģistrē policijas departamenti. Taču aresti ne vienmēr noved pie notiesāšanas. Mēs cenšamies izmērīt cilvēkus, kas izdara noziegumus, taču mums ir tikai dati par arestiem, saka Sjans.
'Mēs cenšamies izmērīt cilvēkus, kas izdara noziegumus, taču mums ir tikai dati par arestiem.'
Turklāt aizturēšanas dati kodē rasistiskas policijas uzvedības modeļus. Rezultātā viņi, visticamāk, prognozē lielu noziedzības potenciālu mazākumtautību rajonos vai minoritāšu cilvēku vidū. Pat tad, ja aizturēšanas un noziedzības dati sakrīt, pastāv neskaitāmi sociālekonomiski iemesli, kāpēc noteiktām populācijām un noteiktiem rajoniem ir augstāks vēsturiskais noziedzības līmenis nekā citās. Šo datu ievadīšana prognozēšanas rīkos ļauj pagātnei veidot nākotni.
Daži rīki izmanto arī datus par to, kur ir veikts izsaukums policijai, kas ir vēl vājāks faktisko noziedzības modeļu atspoguļojums nekā aizturēšanas dati, un vēl vairāk. rasistisku motivāciju deformēta . Apsveriet Eimijas Kūperes gadījums , kura izsauca policiju tikai tāpēc, ka melnādainais putnu vērotājs Kristians Kūpers Ņujorkas Centrālajā parkā lūdza viņai pieslēgt suni pie pavadas.
Tas, ka ir zvans, ka noticis noziegums, nenozīmē, ka noziegums patiešām noticis, saka Ričardsons. Ja zvans kļūst par datu punktu, lai attaisnotu policijas nosūtīšanu uz noteiktu apkaimi vai pat mērķētu uz konkrētu personu, jūs saņemat atgriezeniskās saites cilpu, kurā uz datiem balstītas tehnoloģijas leģitimizē diskriminējošu policijas darbu.
Tā kā vairāk kritiķu apgalvo, ka šie rīki nav piemēroti mērķim, tiek prasīts veikt sava veida algoritmisku apstiprinošu darbību, kurā datu novirze tiek kaut kādā veidā līdzsvarota. Viens no veidiem, kā to izdarīt riska novērtēšanas algoritmiem, teorētiski būtu izmantot atšķirīgus riska sliekšņus — trīs melnādainās personas aresti varētu norādīt uz tādu pašu riska līmeni kā, piemēram, divi aresti baltādainam.
Šī bija viena no pieejām, kas tika pārbaudītas pētījumā publicēt d maijā Dženifera Skīma, kas studē sabiedrisko politiku Kalifornijas Universitātē Bērklijā, un Kristofers Louvenkamps, sociālo zinātņu analītiķis ASV tiesu administratīvajā birojā Vašingtonā, DC. Pāris aplūkoja trīs dažādas iespējas, kā novērst neobjektivitāti algoritmos, kas bija novērtējuši recidīva risku aptuveni 68 000 dalībnieku, no kuriem puse bija baltā un puse melnādaino. Viņi atklāja, ka vislabākais līdzsvars starp rasēm tika panākts, ja algoritmi skaidri ņēma vērā rasi — ko esošie rīki ir likumīgi aizliegts darīt, un noteica melnādainajiem cilvēkiem augstāku slieksni nekā baltajiem, lai viņi tiktu uzskatīti par paaugstināta riska pakāpi.
Protams, šī ideja ir diezgan pretrunīga. Tas nozīmē būtībā manipulēt ar datiem, lai piedotu kādu daļu no noziegumiem vainīgā rases dēļ, saka Sjans: Tas cilvēkiem liek justies ļoti neērti. Ideja par dažādu grupu locekļu pievēršanu dažādiem standartiem ir pretrunā daudzu cilvēku godīguma izjūtai, pat ja tas tiek darīts tā, lai novērstu vēsturisko netaisnību. (Šo kompromisu varat izmēģināt mūsu vietnē interaktīvs stāsts par algoritmisko neobjektivitāti krimināltiesību sistēmā , kas ļauj eksperimentēt ar rīka COMPAS vienkāršotu versiju.)
Katrā ziņā ASV tiesību sistēma nav gatava šādai diskusijai. Hamiltons saka, ka jurista profesija ir atpalikusi no šiem riska novērtēšanas instrumentiem. Pēdējos gados viņa sniedza apmācību kursus juristiem un atklāja, ka aizstāvji bieži vien pat neapzinās, ka viņu klienti tiek šādi novērtēti. Ja jūs to nezināt, jūs to neapstrīdēsit, viņa saka.
Apziņas trūkumu var vainot kopējā attēla neskaidrībā: tiesībaizsardzības iestādes ir tik šauras runas par to, kā tās izmanto šīs tehnoloģijas, ka ikvienam ir ļoti grūti novērtēt, cik labi tās darbojas. Pat ja informācija ir pieejama, ir grūti saistīt vienu sistēmu ar vienu rezultātu. Un daži detalizētie pētījumi, kas ir veikti, koncentrējas uz konkrētiem rīkiem un izdara secinājumus, kas var neattiekties uz citām sistēmām vai jurisdikcijām.
Nav pat skaidrs, kādi instrumenti tiek izmantoti un kas tos izmanto. Mēs nezinām, cik policijas departamentu ir izmantojuši vai pašlaik izmanto paredzamo policijas darbu, saka Ričardsons.
Piemēram, fakts, ka Ņūorleānas policija izmantoja prognozēšanas rīku, ko izstrādājis slepens datu ieguves uzņēmums Palantir, atklājās tikai pēc izmeklēšanu, ko veica The Verge . Un publiskie ieraksti liecina, ka Ņujorkas policijas departaments uzņēmumam Palantir ir samaksājis 2,5 miljonus dolāru bet nesaka priekš kam.
GETTYLielāko daļu rīku policijas departamentiem ir licencējuši vairāki mazi uzņēmumi, valsts iestādes un pētnieki. Dažas no tām ir patentētas sistēmas; daži nav. Viņi visi darbojas nedaudz atšķirīgi. Pamatojoties uz rīku rezultātiem, pētnieki pēc iespējas labāk atjauno to, kas, viņuprāt, notiek.
Hamids Kāns, aktīvists, kurš gadiem ilgi cīnījās, lai panāktu, ka Losandželosas policija atmet prognozēšanas rīku PredPol, pieprasīja, lai policijas departamenta ģenerālinspektors veiktu šī rīka auditu. Saskaņā ar Khan , 2019. gada martā ģenerālinspektors teica, ka uzdevums nav iespējams, jo rīks ir tik sarežģīts.
Apvienotajā Karalistē Hamiltons mēģināja izpētīt rīku, ko sauc par OASys, ko, tāpat kā COMPAS, parasti izmanto pirmstiesas nopratināšanā, notiesāšanā un nosacītā atbrīvošanā. Uzņēmums, kas ražo OASys, veic savus auditus un nav izlaidis daudz informācijas par to, kā tas darbojas, saka Hamiltons. Viņa vairākkārt ir mēģinājusi iegūt informāciju no izstrādātājiem, taču viņi pārstāja atbildēt uz viņas pieprasījumiem. Viņa saka: es domāju, ka viņi paskatījās uz manām studijām un nolēma: Nē.
Uzņēmumi, kas ražo šos rīkus, ir pazīstami ar to, ka viņi nevar dalīties ar informāciju, jo tas nozīmētu atteikšanos no komercnoslēpumiem vai konfidenciālas informācijas par cilvēkiem, kurus rīki ir novērtējuši.
Tas viss nozīmē, ka tikai daži ir izpētīti detalizēti, lai gan ir pieejama informācija par dažiem no tiem. Static 99 izstrādāja datu zinātnieku grupa, kas dalījās ar informāciju par tā algoritmiem. Sabiedriskās drošības novērtējumu, vienu no visizplatītākajiem pirmstiesas riska novērtēšanas rīkiem ASV, sākotnēji izstrādāja Arnold Ventures, privāta organizācija, taču izrādījās vieglāk pārliecināt jurisdikcijas to pieņemt, ja tika atklāta kāda informācija par tā darbību. , saka Hamiltons. Tomēr abu rīku veidotāji ir atteikušies izlaist apmācībā izmantotās datu kopas, kas būtu nepieciešamas, lai pilnībā izprastu, kā tie darbojas.
Uz riska novērtēšanas instrumenta iegādi attiecas tie paši noteikumi, kas uz sniega tīrītāja iegādi.
Ir ne tikai mazs ieskats šo rīku mehānismos, bet kritiķi saka, ka policijas departamenti un tiesas nedara pietiekami daudz, lai pārliecinātos, ka viņi iegādājas rīkus, kas darbojas, kā paredzēts. Attiecībā uz NYPD uz riska novērtēšanas rīka iegādi attiecas tie paši noteikumi kā uz sniega tīrītāja iegādi, saka Milners.
Ričardsons saka, ka policija var pilnībā iepirkties tehnoloģiju, nezinot, ko viņi izmanto, un neiegulda laiku, lai nodrošinātu, ka tās var droši izmantot. Un tad netiek veikta pastāvīga pārbaude vai analīze, lai noteiktu, vai tas pat darbojas.
Centieni to mainīt ir saskārušies ar pretestību. Pagājušajā mēnesī Ņujorka pagājis uz Novērošanas tehnoloģiju publiskās uzraudzības (POST) likums , kurā NYPD ir jāuzskaita visas tās novērošanas tehnoloģijas un jāapraksta, kā tās ietekmē pilsētas iedzīvotājus. NYPD ir lielākie policijas spēki ASV, un likumprojekta atbalstītāji cer, ka izpaušana arī izgaismos to, kādu tehnoloģiju izmanto citi policijas departamenti valstī. Bet nokļūt tik tālu bija grūti. Ričardsons, kurš veica likumprojekta aizstāvības darbu, kopš 2017. gada bija vērojis, kā tas ir neskaidrs, līdz pēdējos mēnešos plaši izplatītie aicinājumi veikt policijas reformu izgāza viedokļu līdzsvaru.
Tā bija neapmierinātība, mēģinot atrast pamatinformāciju par digitālās policijas praksi Ņujorkā, un tas lika Ričardsonam strādāt pie likumprojekta. Policija bija pretojusies, kad viņa un viņas kolēģi vēlējās uzzināt vairāk par NYPD novērošanas rīku izmantošanu. Informācijas brīvības likuma pieprasījumi un Ņujorkas Pilsoņu brīvību savienības tiesvedība nedarbojās. 2015. gadā viņi ar pilsētas domes locekļa Daniela Garodnika palīdzību ierosināja tiesību aktus, kas liktu risināt šo jautājumu.
Mēs piedzīvojām ievērojamu NYPD pretreakciju, tostarp šķebinošu PR kampaņu, kas liek domāt, ka likumprojekts pilsētas karti atdod teroristiem, saka Ričardsons. Nebija atbalsta no mēra un naidīgās pilsētas domes.
Ar savām ētiskajām problēmām un pārredzamības trūkumu pašreizējais prognozēšanas policijas stāvoklis ir haoss. Bet ko ar to var darīt? Sjans un Hamiltons uzskata, ka algoritmiskie rīki var būt godīgāki par cilvēkiem, ja vien visi, kas iesaistīti to izstrādē un lietošanā, pilnībā apzinās to ierobežojumus un apzināti strādā, lai padarītu tos godīgus.
Taču šis izaicinājums nav tikai tehnisks. Ir nepieciešams aprēķins par to, ko darīt datu novirzes gadījumā, jo tas ir jādara. Tas nes sev līdzi policijas paaudžu rētas, saka Vetingtons.
Un to, ko nozīmē godīgs algoritms, datorzinātnieki nevar atbildēt, saka Sjans. Uz to īsti neviens nevar atbildēt. Tas jautā, kā izskatītos taisnīga krimināltiesību sistēma. Pat ja jūs esat jurists, pat ja esat ētiķis, jūs nevarat sniegt vienu stingru atbildi uz to.
Tie ir fundamentāli jautājumi, kas nebūs atrisināmi tādā nozīmē, ka matemātisku problēmu var atrisināt, viņa piebilst.
Hamiltons piekrīt. Pilsoņu tiesību grupām ir grūti izdarīt izvēli, viņa saka: ja jūs esat pret riska novērtēšanu, iespējams, ka vairāk minoritāšu paliks ieslodzīti. Ja pieņemat riska novērtējumu, jūs esat līdzvainīgs rasu aizspriedumu veicināšanā algoritmos.
Bet tas nenozīmē, ka neko nevar darīt. Ričardsons saka, ka politikas veidotāji ir jāsauc par viņu taktisko nezināšanu par šo rīku trūkumiem. Piemēram, NYPD ir iesaistījusies desmitiem tiesas prāvu par gadiem ilgu neobjektīvu policijas darbu. Es nesaprotu, kā jūs varat aktīvi risināt izlīguma sarunas par rasistiski neobjektīvu praksi un joprojām uzskatu, ka šīs prakses rezultātā iegūtos datus var izmantot, viņa saka.
Ješimabeita Milnere ir Data for Black Lives līdzdibinātāja un direktore, aktīvistu un datorzinātnieku kolektīvs, kas izmanto datus, lai reformētu krimināltiesību sistēmu.
DATU ATKLĀTĪBA PAR MELNĀM DZĪVĒMMilneram galvenais, lai panāktu pārmaiņas, ir iesaistīt visvairāk skartos cilvēkus. 2008. gadā, noskatoties, kā tiek arestēti bērni, kurus viņa zināja, Milnere pievienojās organizācijai, kas aptaujāja aptuveni 600 jauniešus par viņu pieredzi saistībā ar arestiem un policijas brutalitāti skolās, un pēc tam iemācīto pārvērta komiksu grāmatā. Jaunieši visā valstī izmantoja komiksu grāmatu, lai sāktu veikt līdzīgu darbu savā dzīvesvietā.
Šobrīd viņas organizācija Data for Black Lives koordinē aptuveni 4000 programmatūras inženieru, matemātiķu un aktīvistu universitātēs un kopienas centros. Riska novērtēšanas rīki nav vienīgais veids, kā datu ļaunprātīga izmantošana iemūžina sistēmisku rasismu, taču tas ir viens no viņu redzeslokā. Mēs neļausim ikvienam privātam uzņēmumam izstrādāt riska novērtēšanas rīkus, taču mēs varam mainīt kultūru un izglītot cilvēkus, dot viņiem veidus, kā atgrūst, saka Milners. Atlantā viņi apmāca cilvēkus, kuri ir pavadījuši laiku cietumā, nodarboties ar datu zinātni, lai viņi varētu piedalīties krimināltiesību sistēmas izmantoto tehnoloģiju reformēšanā.
Tikmēr Milners, Vetingtons, Ričardsons un citi uzskata, ka policijai vajadzētu pārtraukt izmantot kļūdainus prognozēšanas rīkus, līdz tiks panākta vienošanās par to, kā padarīt tos godīgākus.
Lielākā daļa cilvēku piekristu, ka sabiedrībai ir jābūt iespējai izlemt, kurš ir bīstams citiem. Taču aizspriedumaina policista vai tiesneša aizstāšana ar algoritmiem, kas tikai slēpj tos pašus aizspriedumus, nav risinājums. Ja ir pat iespēja, ka viņi iemūžinās rasistisku praksi, viņi ir jāatstāj.
Tomēr, kā atklājuši pārmaiņu aizstāvji, ir vajadzīgi ilgi gadi, lai kaut ko mainītu, un katrā solī ir pretestība. Tā nav nejaušība, ka gan Khans, gan Ričardsons redzēja progresu pēc nedēļām valsts mēroga sašutuma par policijas brutalitāti. Nesenās sacelšanās noteikti mums nāca par labu, saka Ričardsons. Taču bija nepieciešami arī pieci gadi pastāvīga spiediena no viņas un kolēģiem advokātiem. Arī Khans gadiem ilgi bija aģitējis pret paredzamo policijas darbu LAPD.
Šim spiedienam ir jāturpina arī pēc tam, kad gājieni ir beigušies. Neobjektivitātes novēršana nav tehnisks risinājums, saka Milners. Tas prasa dziļākas un, godīgi sakot, mazāk seksīgas un dārgākas politikas izmaiņas.