Policija visā ASV apmāca noziedzības prognozēšanas AI par viltotiem datiem

Deivids Maknjū/Personāls

2010. gada maijā, ko izraisīja virkne skaļu skandālu, Ņūorleānas mērs lūdza ASV Tieslietu departamentu izmeklēt pilsētas policijas departamentu (NOPD). Desmit mēnešus vēlāk DOJ piedāvāja savu tulznu analīze : tās pārskatīšanas laikā, sākot no 2005. gada, NOPD bija atkārtoti pārkāpusi konstitucionālos un federālos likumus.

Tas izmantoja pārmērīgu spēku un nesamērīgi pret melnādainajiem iedzīvotājiem; rasu minoritātēm, personām, kurām angļu valoda nav dzimtā, un LGBTQ personām; un nespēja novērst vardarbību pret sievietēm. Problēmas, teica ģenerālprokurora palīgs Tomass Peress tajā laikā bija nopietni, plaši, sistēmiski un dziļi iesakņojušies departamenta kultūrā.

Neskatoties uz satraucošajiem atklājumiem, pilsēta iekļuva a slepena partnerība tikai gadu vēlāk ar datu ieguves firmu Palantir, lai ieviestu paredzamo policijas sistēmu. Sistēma izmantoja vēsturiskos datus, tostarp aizturēšanas ierakstus un elektroniskos policijas ziņojumus, lai prognozētu noziedzību un palīdzētu veidot sabiedriskās drošības stratēģijas. uzņēmums un pilsētas valdība materiāliem. Šie materiāli nevienā brīdī neliecināja par centieniem tīrīt vai grozīt datus, lai novērstu DOJ atklātos pārkāpumus. Visticamāk, bojātie dati tika ievadīti tieši sistēmā, pastiprinot departamenta diskriminējošo praksi.

Prognozējošie policijas algoritmi kļūst par ierastu praksi pilsētās visā ASV. Lai gan pārredzamības trūkuma dēļ precīzu statistiku ir grūti noteikt, vadošais pārdevējs PredPol lepojas ka tas palīdz aizsargāt 1 no 33 amerikāņiem. Programmatūra bieži tiek reklamēta kā veids, kā palīdzēt ierobežotām policijas nodaļām pieņemt efektīvākus, uz datiem balstītus lēmumus.

Taču jaunie pētījumi liecina, ka ne tikai Ņūorleāna ir apmācījusi šīs sistēmas ar netīriem datiem. Iekšā papīrs AI Now Institute pētnieki, kas pēta mākslīgā intelekta sociālo ietekmi, atklāja, ka problēma ir plaši izplatīta pētītajās jurisdikcijās. Tam ir būtiska ietekme uz paredzamās policijas un citu krimināltiesību sistēmā izmantoto algoritmu efektivitāti.

Jūsu sistēma ir tikpat laba kā dati, ko izmantojat, lai to apmācītu, saka Keita Kroforda, AI Now līdzdibinātāja un līdzdirektore un pētījuma autore. Ja dati paši par sevi ir nepareizi, vairāk policijas resursu tiks koncentrēti uz tām pašām pārmērīgi uzraudzītajām un bieži vien rasistiski orientētām kopienām. Tātad tas, ko jūs esat paveicis, patiesībā ir tehnikas mazgāšana, kad cilvēki, kas izmanto šīs sistēmas, pieņem, ka tās ir kaut kādā veidā neitrālākas vai objektīvākas, bet patiesībā viņi ir iesakņojušies nekonstitucionalitātes vai nelikumības formā.

Pētnieki pārbaudīja 13 jurisdikcijas, koncentrējoties uz tām, kurās ir izmantotas paredzamās policijas sistēmas un kuras ir pakļautas valdības pasūtītai izmeklēšanai. Pēdējā prasība nodrošināja, ka policijas praksei ir juridiski pārbaudāma dokumentācija. Deviņās no jurisdikcijām viņi atrada pārliecinošus pierādījumus tam, ka sistēmas ir apmācītas par netīriem datiem.

Problēma nebija tikai dati, ko izkropļoja nesamērīga mērķtiecība uz minoritātēm, kā tas ir Ņūorleānā. Dažos gadījumos policijas departamentos bija mērķtiecīgas manipulācijas vai datu viltošanas kultūra, kas pakļauta intensīvam politiskajam spiedienam, lai samazinātu oficiālo noziedzības līmeni. Piemēram, Ņujorkā, lai mākslīgi deflētu noziedzības statistiku, iecirkņu komandieri nozieguma vietā regulāri lūdza upurus neiesniegt sūdzības. Daži policisti pat iesēja narkotikas nevainīgiem cilvēkiem, lai izpildītu viņu aizturēšanas kvotas. Mūsdienu paredzamās policijas sistēmās, kas balstās uz mašīnmācīšanos, lai prognozētu noziedzību, šie bojātie datu punkti kļūst par likumīgiem prognozētājiem.

Raksta atklājumi liek apšaubīt paredzamo policijas sistēmu derīgumu. Šādas programmatūras pārdevēji bieži apgalvo, ka viņu rīku neobjektīvie rezultāti ir viegli labojami, saka Rašida Ričardsone, AI Now politikas pētījumu direktore un pētījuma vadošā autore. Bet visos šajos gadījumos ir kāda veida sistēmiskas problēmas, kas atspoguļojas datos, viņa saka. Tādēļ līdzeklis prasīs daudz vairāk nekā tikai viena vai divu sliktas uzvedības gadījumu novēršanu. Nav tik vienkārši nošķirt labus datus no sliktiem datiem vai labus policistus no sliktiem policistiem, piebilst Džeisons Šulcs, institūta zinātniskais vadītājs tiesību un politikas jomā, cits pētījuma autors.

Pārdevēji arī apgalvo, ka viņi izvairās no datiem, kas, visticamāk, atspoguļo aizspriedumus, piemēram, ar narkotikām saistītus arestus, un tā vietā izvēlas apmācību, piemēram, 911 zvanus. Taču pētnieki konstatēja tikpat lielu neobjektivitāti it kā neitrālākajos datos. Turklāt viņi atklāja, ka pārdevēji nekad neatkarīgi nepārbauda viņu sistēmās ievadītos datus.

Saistīts stāsts

Saistīts stāsts Vēsturisko datu izmantošana riska novērtēšanas rīku apmācīšanai var nozīmēt, ka mašīnas kopē pagātnes kļūdas.

Rakstā ir izgaismotas diskusijas, kas ASV plosās par noziedzīgā riska novērtēšanas rīku izmantošanu, kas izmanto arī mašīnmācīšanos, lai palīdzētu noteikt jebko, sākot no apsūdzēto likteņa pirmstiesas procesā un beidzot ar viņu piespriestā soda smagumu. Dati, kurus mēs apspriežam šajā dokumentā, ir ne tikai izolēti no policijas, saka Ričardsons. To izmanto visā krimināltiesību sistēmā.

Pašlaik liela daļa debašu ir vērsta uz pašas sistēmas mehāniku — vai to var veidot tā, lai iegūtu matemātiski godīgus rezultātus. Taču pētnieki uzsver, ka tas ir nepareizs jautājums. Šulcs saka, ka algoritma jautājuma atdalīšana no sociālās sistēmas, ar kuru tas ir savienots un tajā ir iegults, nenovedīs tālu. Mums patiešām ir jāatzīst šāda veida matemātisko, uz aprēķiniem balstītu mēģinājumu novērst neobjektivitātes robežas.

Virzoties uz priekšu, pētnieki cer, ka viņu darbs palīdzēs pārstrukturēt debates, lai koncentrētos uz plašāku sistēmu, nevis pašu rīku. Viņi arī cer, ka tas mudinās valdības izveidot mehānismus, piemēram, algoritmiskā ietekmes novērtējuma sistēma institūts tika izdots pagājušajā gadā, lai automatizēto lēmumu pieņemšanas rīku izmantošanā nodrošinātu lielāku pārredzamību, atbildību un pārraudzību.

Ja netiks reformēti sociālie un politiskie mehānismi, kas rada netīrus datus, šādi rīki tikai nodarīs vairāk ļauna nekā labuma, viņi saka. Kad cilvēki to atzīs, varbūt diskusija beidzot pāries uz veidiem, kā mēs varam izmantot mašīnmācīšanos un citus tehnoloģiskos sasniegumus, lai faktiski apturētu [noziedzības] galveno cēloni, saka Ričardsons. Varbūt mēs varam atrisināt nabadzības, bezdarba un mājokļu problēmas, izmantojot valdības datus izdevīgākā veidā.

paslēpties