211service.com
Slepenie algoritmi apdraud tiesiskumu
Prognozēšana un turpmākās darbības noteikšana — neatkarīgi no tā, vai esat pircējs, strādnieks vai vēlētājs — ir liels bizness uz datiem balstītiem uzņēmumiem. Bet vai viņu metodēm jāinformē arī tiesneši un prokurori? Vērienīga programma notiesāto recidīva prognozēšanai Amerikas tiesu ēkās ienes algoritmisku riska novērtējumu.
Šie novērtējumi ir tendences turpinājums aktuāra prognozēšanas instrumenti par recidīva risku. Tie var šķist zinātniski, skaitļošanas racionalitātes injekcija krimināltiesību sistēmā, kurā valda diskriminācija un neefektivitāte. Tomēr tie ir satraucoši vairāku iemeslu dēļ: daudzi ir slepeni aprēķināti; viņi liedz atbildētājiem pienācīgu procesu un saprotamus paskaidrojumus; un tie veicina trakulīgu un necilvēcīgu redzējumu par soda lomu sabiedrībā.
Sāksim ar slepenību — faktoru, kas acīmredzot ir satraucis pat Augstāko tiesu uzņēmuma Northpointe COMPAS riska rādītāja lietā. In Loomis pret Viskonsinu , tiesnesis noraidīja vienošanos par prasību un piesprieda atbildētājam (Loomisam) bargāku sodu daļēji tāpēc, ka COMPAS riska rādītājs uzskatīja, ka viņam ir lielāks nekā vidējais recidīva risks. Loomis spriedumu pārsūdzēja, apgalvojot, ka ne viņš, ne tiesnesis nevarēja pārbaudīt riska novērtējuma formulu - tas bija komercnoslēpums.
Frenks Paskvāle
Viskonsinas štats iebilda, ka Northpointe pieprasīja, lai algoritmi būtu konfidenciāli, lai aizsargātu uzņēmuma intelektuālo īpašumu. Un Viskonsinas Augstākā tiesa apstiprināja Lūmisa spriedumu, pamatojot, ka riska novērtējums bija tikai viena daļa no soda pamatojuma. Tā vēlējās arī turpmāk dot tiesnešiem iespēju ņemt vērā COMPAS punktu skaitu kā daļu no sava soda pamatojuma, pat ja viņiem nebija ne jausmas, kā tas tika aprēķināts.
Juristi , akadēmiķi un aktīvisti tagad apšauba šo argumentāciju. Tiesu procesi kopumā ir publiski pieejami. Tiesnešiem ir jāpamato savas vissvarīgākās darbības, piemēram, notiesāšana. Ja algoritmiskā vērtēšanas process tiek turēts noslēpumā, tas tā ir neiespējami apstrīdēt tā galvenie aspekti. Kā algoritms sver dažādus datu punktus un kāpēc? Katrai no šīm izmeklēšanām ir izšķiroša nozīme divu juridisko pamatprincipu ievērošanā: pienācīgs process un spēja jēgpilni pārsūdzēt nelabvēlīgu lēmumu.
Pienācīgs process ir beztermiņa jēdziens, taču tas ir ļoti svarīgs likumīgām tiesību sistēmām. Šis konstitucionālais pamatprincips sniedz apsūdzētajiem tiesības saprast, par ko viņi tiek apsūdzēti un kādi ir pret viņiem vērstie pierādījumi. Slepens riska novērtēšanas algoritms, kas piedāvā sasodošu rezultātu, ir līdzīgs pierādījumiem, ko piedāvā an anonīms eksperts , kuru nevar pārjautāt. Jebkura tiesa, kas apzinās tiesiskuma pamatprincipus, kā arī Piektā un Četrpadsmitā grozījuma paziņošanas un lēmumu skaidrošanas principus, būtu ļoti piesardzīga, atļaujot valstij spriedumus (pat ja tikai daļēji) balstīt uz slepenu algoritmu.
Divas automatizācijas aizspriedumu formas apdraud arī tiesības uz jēgpilnu apelāciju. Tiesneši pārāk bieži pieņem, ka kvantitatīvās metodes ir pārākas par parasto verbālo argumentāciju, un reducē veicamo uzdevumu (sodu) līdz pieejamo kvantitatīvo datu par recidīva risku pielietošanai. Abas atbildes mazina notiesāšanas sarežģītību un humāno spriedumu.
Vēl ļaunāk, kad uzņēmumi piedāvā komerciālus pamatojumus, lai viņu slepenā mērce netiktu atklāta, tiesas ir ļoti vēlējušās aizsargāt vērtēšanas uzņēmumu komercnoslēpumus. Šī tendence ir satraucoša privātā sektora kontekstā , jo komerciāli pārkāpumi var tikt veikti nesodīti, pateicoties ranžēšanas un vērtēšanas sistēmu necaurredzamībai. Pat kontekstā ar balsošana , iestādes ir kūtras, pieprasot programmatūru, kas būtu pārbaudāma un saprotama no nepiederošām personām . Tomēr lietai par kriminālsodu vajadzētu būt pārāk tālam apzinīgiem tiesnešiem, un tas, iespējams, izskaidro ASV Augstākās tiesas viedokli. interese iekšā Loomis. Sūtīt kādu cietumā, pateicoties neizskaidrojamiem, neapstrīdamiem slepenas datorprogrammas spriedumiem, ir pārāk. Melnais spogulis pat rūdītiem korporatīvo privilēģiju aizstāvjiem.
Turklāt ir iespējas starp pilnīgu algoritmisku noslēpumu un pilnīgu publiskošanu. Kā es paskaidroja 2010. gadā kvalificēta caurskatāmība ir vispāratzīta metode, kas ļauj atsevišķiem ekspertiem novērtēt aizsargātos komercnoslēpumus (tostarp firmu kodu un datus), lai pārbaudītu sistēmas kvalitāti, derīgumu un uzticamību. Padomājiet par īpašu meistaru tiesas prāvā vai Secure Compartmented Information Facilities for izlūkošanas aģentūrām. Valdībām nevajadzētu izmantot tādus algoritmus kā COMPAS rezultāts bez kaut kādas ārējas kvalitātes nodrošināšanas, ko nodrošina kvalificēta pārredzamība.
Taču slepenība šeit nav vienīgā problēma. Pieņemsim, ka algoritmiskais riska novērtējums galu galā kļūst publiski pieejams, izmantojot pilnībā pārredzamas formulas un datus. Joprojām pastāv nopietnas bažas par uz pierādījumiem balstīta sodu izmantošanu, jo kvantitatīvā paredzamā analītika bieži tiek tirgota krimināltiesību kontekstā.
Piemēram, tiesību zinātniecei Sonjai Stārai ir strīdējās ka tas, kas patiešām ir kritisks notiesāšanas kontekstā, nav tikai recidīvs pats par sevi, bet gan atšķirība, ko pagarinās cietumsods, lai notiesātais atkārtoti izdarītu noziegumu. Algoritmiskais riska novērtējums galu galā var kļūt ļoti labs, lai prognozētu atkārtotu noziedzīgu nodarījumu, bet kā būtu ar riska novērtējumu pašam riska novērtējumam — tas ir, risks, ka ilgāks sods augsta riska likumpārkāpējam var kļūt par pašpiepildošo pareģojumu, ņemot vērā kriminogēno vidi. daudz cietumu?
Stāstījuma saprotamībai ir nozīme arī cilvēku klasifikācijā un vērtējumā. Uzņēmumi izmanto mārketinga analīzi, lai prognozētu ne tikai noziedzīga recidīva iespējamību, bet arī iespēju, ka kāda konkrēta persona tiks garīgi slims , slikts darbinieks , uz nesekmīgs students , uz noziedznieks , vai a terorists . Pat ja mēs varam atstāt malā iepriekš minētās pašpiepildošos pravietojumu bažas, šie novērtējumi ir jāizmanto tikai ar vislielāko piesardzību. Kad tie tika izmantoti, lai konsultētu policiju, IDD, skolotājus vai priekšniekus, tie nav tikai viedokļi, kas cirkulē brīvā ideju plūsmā. Drīzāk tie var tieši ietekmēt personu iztiku, brīvību un izglītību. Ja tos nevar izskaidrot naratīvi saprotamā veidā, iespējams, tos vispār nevajadzētu lietot bez tiešas personas, kuru viņi novērtē, piekrišanas.
Šis viedoklis var nebūt piemērots tiem, kuri uzskata, ka mākslīgais intelekts ir nākamais solis cilvēka evolūcijā. Robotiķis Hods Lipsons neaizmirstami salīdzinot centieni padarīt progresīvu algoritmisko informācijas apstrādi saprotamu cilvēkiem līdz pat Šekspīra izskaidrošanai sunim. Taču šī piesātinātā metafora slēpj vairāk, nekā atklāj. Vismaz šobrīd cilvēki ir atbildīgi par valdībām un var pieprasīt paskaidrojumus par lēmumiem dabiskā valodā, nevis datorā. Ja to neizdarīs kriminālā kontekstā, pastāv risks, ka valdības un juridiskās funkcijas tiek nodotas neatskaitāmai skaitļošanas elitei.
Frenks Paskvāle ir tiesību profesors Merilendas Universitātē un autors Melnās kastes biedrība .