Gaidāmais karš pret slēptajiem algoritmiem, kas iespiež cilvēkus nabadzībā

Daniels Zenders

Mirjamai bija tikai 21 gads, kad viņa satika Niku. Viņa bija fotogrāfe, tikko pabeigusi koledžu, gaidot galdus. Viņš bija 16 gadus vecāks par viņu un vietējā uzņēmuma īpašnieks, kurš strādāja finanšu jomā. Viņš bija burvīgs un harizmātisks; viņš izveda viņu uz grezniem randiņiem un samaksāja par visu. Viņa ātri iekrita viņa orbītā.

Tas sākās ar vienu kredītkarti. Tajā laikā tā bija vienīgā, kas viņai bija. Niks to maksimāli izmantotu, veicot biznesa pirkumus 5000 USD vērtībā, un nākamajā dienā nekavējoties to samaksātu. Mirjama, kura lūdza man neizmantot viņu īstos vārdus, baidoties iejaukties viņu notiekošajā šķiršanās procesā, atklāja, ka tas uzlabo viņas kredītvēsturi. Uzaugusi ar vientuļo tēti maznodrošinātā mājsaimniecībā, viņa uzticējās Nika zināšanām, nevis savējām. Viņš viegli iedrošināja dinamiešus, stāstot viņai, ka viņa nesaprot finanses. Viņa atvēra viņam vairāk kredītkaršu ar savu vārdu.

Problēmas sākās trīs gadus pēc tam. Niks lūdza viņu pamest darbu, lai palīdzētu ar savu biznesu. Viņa to darīja. Viņš lika viņai doties uz pamatskolu un neuztraukties par esošo studentu parādu palielināšanu. Viņa to darīja. Viņš apsolīja visu parūpēties, un viņa viņam ticēja. Drīz pēc tam viņš pārtrauca norēķināties ar viņas kredītkaršu atlikumiem. Viņas rezultāts sāka krāterēt.

Tomēr Mirjama palika pie viņa. Viņi apprecējās. Viņiem bija trīs bērni. Tad kādu dienu FIB ieradās viņu mājā un arestēja viņu. Federālajā tiesā tiesnesis viņu notiesāja par gandrīz 250 000 ASV dolāru krāpniecību. Mirjama atklāja visu desmitiem tūkstošu dolāru lielo parādu apjomu, ko viņš bija sakrājis viņas vārdā. Viņa stāsta, ka dienā, kad viņš nonāca cietumā, man bija 250 USD skaidrā naudā, māja tika atsavināta, automašīna tika atsavināta, trīs bērni. Mēneša laikā no auklītes un dzīves jaukā mājā es nokļuvu patiesi drausmīgā nabadzībā.

Mirjama ir pārdzīvojusi tā saukto piespiedu parādu — vardarbības veidu, ko parasti izdara intīms partneris vai ģimenes loceklis. Lai gan ekonomiskā ļaunprātīga izmantošana ir ilgstoša problēma, digitālā banka ir atvieglojusi kontu atvēršanu un kredītu ņemšanu uz upura vārda, saka Karla Sančesa-Adamsa, Teksasas RioGrande Legal Aid juriste. Automatizēto kredītpunktu noteikšanas algoritmu laikmetā sekas var būt arī daudz postošākas.

Kredītreitingi ir izmantoti gadu desmitiem, lai novērtētu patērētāju kredītspēju, taču tagad to darbības joma ir daudz plašāka, jo tos nodrošina algoritmi: tie ne tikai ņem vērā daudz vairāk datu gan apjoma, gan veida ziņā, bet arī arvien vairāk ietekmē to, vai varat iegādāties automašīnu, īrēt dzīvokli vai iegūt pilnas slodzes darbu. Viņu visaptverošā ietekme nozīmē, ka, ja jūsu rezultāts tiek sabojāts, to var būt gandrīz neiespējami atgūt. Vēl ļaunāk, algoritmi pieder privātiem uzņēmumiem, kas neizpauž, kā viņi pieņem savus lēmumus. Upuri var tikt sūtīti lejupejošā spirālē, kas dažkārt beidzas ar bezpajumtniecību vai atgriešanos pie sava varmākas.

Kredīta vērtēšanas algoritmi nav vienīgie, kas ietekmē cilvēku ekonomisko labklājību un piekļuvi pamatpakalpojumiem. Tagad algoritmi izlemj, kuri bērni nonāk audžuģimenē, kuri pacienti saņem medicīnisko aprūpi, kurām ģimenēm ir pieejams stabils mājoklis. Tie no mums, kuriem ir līdzekļi, var paiet dzīvi, neko par to nezinot. Taču cilvēkiem ar zemiem ienākumiem straujā automatizēto lēmumu pieņemšanas sistēmu izaugsme un ieviešana ir radījusi slēptu savstarpēji saistītu slazdu tīklu.

Par laimi, arvien lielāka civiltiesību juristu grupa sāk organizēties ap šo jautājumu. Aizņemoties rokasgrāmatu no noziedzīgās aizsardzības pasaules atteikšanās pret riska novērtēšanas algoritmiem, viņi cenšas izglītoties par šīm sistēmām, veidot kopienu un izstrādāt tiesvedības stratēģijas. Būtībā katrs civiltiesību jurists sāk nodarboties ar šīm lietām, jo ​​visus mūsu klientus kaut kādā veidā skar šīs sistēmas, saka Mišela Gilmane, Baltimoras universitātes klīnisko tiesību profesore. Mums ir jāpamostas, jātrenējas. Ja mēs vēlamies būt patiešām labi holistiski juristi, mums tas ir jāapzinās.

Vai es pārbaudīšu algoritmu?

Gilmans Baltimorā praktizē juristu 20 gadus. Viņas civillietas juristes un nabadzības juristes darbā viņas lietas vienmēr ir saistītas ar tām pašām lietām: pārstāvot cilvēkus, kuri zaudējuši piekļuvi pamatvajadzībām, piemēram, mājoklim, pārtikai, izglītībai, darbam vai veselības aprūpei. Dažreiz tas nozīmē, ka jāsastopas ar valsts aģentūru. Citreiz tas notiek ar kredītreitingu aģentūru vai saimnieku. Arvien biežāk cīņa par klienta piemērotību tagad ir saistīta ar sava veida algoritmu.

Viņa saka, ka tas notiek visās jomās ar mūsu klientiem. Tie ir ietverti tik daudzos dažādos algoritmos, kas liedz tiem piekļūt pamatpakalpojumiem. Un klienti to var nezināt, jo daudzas no šīm sistēmām ir neredzamas.

Personām ar zemiem ienākumiem vienas īslaicīgas ekonomiskas grūtības var izraisīt apburto loku, kas dažkārt beidzas ar bankrotu vai bezpajumtniecību.

DŽONS Taisons / UNSPLASH

Viņa precīzi neatceras, kad saprata, ka dažus lēmumus par atbilstību pieņem algoritmi. Bet, kad šī pāreja pirmo reizi sākās, tas reti bija acīmredzams. Reiz viņa pārstāvēja vecāka gadagājuma klientu ar invaliditāti, kas neizskaidrojami bija atdalīta no Medicaid finansētās mājas veselības aprūpes palīdzības. Mēs nevarējām noskaidrot, kāpēc, Gilman atceras. Viņa kļuva slimāka, un parasti, ja tu kļūsti slimāks, tu saņem vairāk stundu, nevis mazāk.

Tikai tad, kad viņi stāvēja tiesas zālē tiesas sēdes vidū, liecinieks, kurš pārstāvēja valsti, atklāja, ka valdība tikko ir pieņēmusi jaunu algoritmu. Lieciniece, medmāsa, par to neko nevarēja paskaidrot. Protams, nē - viņi to nopirka no plaukta, saka Gilmans. Viņa ir medmāsa, nevis datorzinātniece. Viņa nevarēja atbildēt, kādi faktori to ietekmē. Kā tas tiek svērts? Kādi ir rezultāti, kurus jūs meklējat? Tātad es esmu kopā ar savu studentu advokātu, kurš ir manā klīnikā kopā ar mani, un tas ir kā: 'Vai es pārbaudīšu algoritmu?'

Kevinam De Libanam, Arkanzasas juridiskās palīdzības advokātam, izmaiņas bija tikpat mānīgas. 2014. gadā viņa štats arī ieviesa jaunu sistēmu Medicaid finansētas palīdzības sniegšanai mājās, atceļot veselu virkni cilvēku, kuri iepriekš bija tiesīgi saņemt atbalstu. Tajā laikā viņš un viņa kolēģi nevarēja noteikt galveno problēmu. Viņi zināja tikai to, ka kaut kas ir savādāk. Viņš saka, ka ir notikušas izmaiņas vērtēšanas sistēmās no 20 jautājumu papīra anketas uz 283 jautājumu elektronisku anketu.

Divus gadus vēlāk, kad kļūda algoritmā atkal to nodeva juridiskajai pārbaudei, De Liban beidzot nokļuva līdz jautājuma būtībai. Viņš saprata, ka medmāsas pacientiem saka: Nu, dators to izdarīja — tas neesmu es. Tieši tas mūs pamudināja, viņš saka. Ja es būtu zinājis to, ko zināju 2016. gadā, es, iespējams, būtu paveicis labāku darbu, aizstāvot 2014. gadā, viņš piebilst.

Viens cilvēks ikdienā iziet cauri tik daudzām sistēmām

Kopš tā laika Giļmans ir kļuvis daudz gudrāks. No sava skatu punkta, pārstāvot klientus ar dažādām problēmām, viņa ir novērojusi divu algoritmisku tīklu pieaugumu un sadursmi. Pirmais sastāv no kredītvēstures ziņošanas algoritmiem, piemēram, tiem, kas aizrāva Mirjamu, kas ietekmē piekļuvi privātām precēm un pakalpojumiem, piemēram, automašīnām, mājām un nodarbinātībai. Otrais ietver valsts aģentūru pieņemtos algoritmus, kas ietekmē piekļuvi tādiem valsts pabalstiem kā veselības aprūpe, bezdarbs un bērnu atbalsta pakalpojumi.

Runājot par kredītvēsturi, algoritmu pieaugumu ir veicinājis datu izplatība, kuru apkopot un kopīgot ir vieglāk nekā jebkad agrāk. Kredītziņojumi nav jauni, taču mūsdienās to nospiedums ir daudz plašāks. Patērētāju ziņošanas aģentūras, tostarp kredītbiroji, īrnieku pārbaudes uzņēmumi vai čeku verifikācijas pakalpojumi, uzkrāj šo informāciju no dažādiem avotiem: publiskiem ierakstiem, sociālajiem medijiem, tīmekļa pārlūkošanas, banku darbībām, lietotņu lietojuma un citiem. Pēc tam algoritmi piešķir cilvēkiem vērtīguma punktus, kas lielā mērā tiek ņemti vērā pagātnes pārbaudēs, ko veic aizdevēji, darba devēji, saimnieki un pat skolas.

No otras puses, valdības aģentūras ir spiestas pieņemt algoritmus, kad tās vēlas modernizēt savas sistēmas. Centieni ieviest tīmekļa lietotnes un digitālos rīkus sākās 2000. gadu sākumā un turpinājās, virzoties uz vairāk uz datiem balstītām automatizētām sistēmām un AI. Ir labi iemesli meklēt šīs izmaiņas. Pandēmijas laikā daudzām bezdarbnieka pabalstu sistēmām bija grūti apstrādāt milzīgo skaitu jaunu pieprasījumu, kā rezultātā radās ievērojama kavēšanās. Šo mantoto sistēmu modernizācija sola ātrākus un uzticamākus rezultātus.

Taču programmatūras iepirkuma process reti ir pārredzams, un tāpēc tam trūkst pārskatatbildības. Valsts aģentūras bieži pērk automatizētus lēmumu pieņemšanas rīkus tieši no privātajiem pārdevējiem. Rezultāts ir tāds, ka tad, kad sistēmas noiet greizi, skartās personas — un viņu advokāti — paliek neziņā. Viņi to nekur nereklamē, saka Džūlija Saimona-Mišela, Filadelfijas juridiskās palīdzības juriste. Bieži vien tas nav rakstīts nekādos politikas ceļvežos vai politikas rokasgrāmatās. Mēs esam neizdevīgā stāvoklī.

Publiskās pārbaudes trūkums arī padara sistēmas vairāk pakļautas kļūdām. Viens no visbriesmīgākajiem darbības traucējumiem notika Mičiganā 2013. gadā. Pēc lielām pūlēm, lai automatizētu valsts bezdarbnieku pabalstu sistēmu, algoritms nepareizi atzīmēja vairāk nekā 34 000 cilvēku par krāpšanu . Tas izraisīja milzīgu labumu zaudēšanu, saka Simon-Mishel. Bija bankroti; diemžēl bija pašnāvības. Tas bija pilnīgs haoss.

Gilmans uztraucas, ka ar koronavīrusu saistīti parādi un izlikšanas gadījumi tiks kodificēti kredītreitingos, padarot cilvēkiem pastāvīgi grūtāk iegūt darbu, dzīvokļus un aizdevumus.

SCOTT HEINS/GETTY IMAGES

Personas ar zemiem ienākumiem uzņemas lielāko daļu pārejas uz algoritmiem. Viņi ir cilvēki, kuri ir visneaizsargātākie pret īslaicīgām ekonomiskajām grūtībām, kas tiek kodificēti patērētāju ziņojumos, un tie, kuriem ir vajadzīgi sabiedriskie labumi un kuri meklē tos. Gadu gaitā Giļmans ir redzējis arvien vairāk gadījumu, kad klienti riskē iekļūt apburtajā lokā. Viņa saka, ka viens cilvēks ikdienā iziet cauri tik daudzām sistēmām. Es domāju, mēs visi darām. Taču tā sekas ir daudz skarbākas nabadzīgajiem cilvēkiem un minoritātēm.

Viņa kā piemēru min pašreizējo gadījumu savā klīnikā. Kāds ģimenes loceklis pandēmijas dēļ zaudēja darbu, un viņam tika atteikts bezdarbnieka pabalsts automatizētas sistēmas kļūmes dēļ. Pēc tam ģimene atpalika no īres maksājumiem, kā rezultātā viņu saimnieks iesūdzēja viņus tiesā par izlikšanu. Lai gan izlikšana nebūs likumīga, jo CDC moratoriju , tiesas prāva joprojām tiks reģistrēta publiskajos reģistros. Pēc tam šos ierakstus varētu izmantot īrnieku pārbaudes algoritmos, kas nākotnē varētu apgrūtināt ģimenei stabila mājokļa atrašanu. Viņu nespēja maksāt īri un komunālos maksājumus varētu arī ietekmēt viņu kredītreitingu, kas atkal rada sekas. Ja viņi mēģina izveidot mobilo tālruņu pakalpojumu vai ņemt kredītu, pirkt automašīnu vai pieteikties darbam, tam vienkārši ir šādas kaskādes viļņošanās sekas, saka Gilmans.

Katrs gadījums pārtaps algoritma lietā

Septembrī Gilmans, kurš pašlaik ir Datu un sabiedrības pētniecības institūta mācībspēks, publicēja ziņojumu dokumentējot visus dažādos algoritmus, ar kuriem var saskarties nabadzības juristi. Zvanīja Nabadzības likumi , tas ir paredzēts kā ceļvedis viņas kolēģiem šajā jomā. Tas ir sadalīts īpašās prakses jomās, piemēram, patērētāju tiesību, ģimenes tiesību, mājokļu un sabiedrisko pabalstu jomā, un tajā ir izskaidrots, kā esošo tiesību aktu ietvaros risināt problēmas, ko rada algoritmi un citas uz datiem balstītas tehnoloģijas.

Ja klientam tiek atteikts dzīvoklis, piemēram, slikta kredītreitingu dēļ, ziņojumā ieteikts juristam vispirms pārbaudīt, vai vērtēšanas sistēmā ievadītie dati ir precīzi. Saskaņā ar Likumu par godīgu kredītvēsturi ziņošanas aģentūrām ir jānodrošina savas informācijas derīgums, taču tas ne vienmēr notiek. Kļūdainu prasību apstrīdēšana var palīdzēt atjaunot klienta kredītu un līdz ar to arī piekļuvi mājoklim. Ziņojumā tomēr atzīts, ka esošie likumi var iet tikai tik tālu. Joprojām ir jāaizpilda normatīvās nepilnības, saka Gilmans.

Gilmans cer, ka ziņojums būs modināšanas zvans. Daudzi viņas kolēģi joprojām neapzinās, ka tas notiek, un viņi nevar uzdot pareizos jautājumus, lai atklātu algoritmus. Tie, kas apzinās šo problēmu, ir izkaisīti pa ASV, mācās par šīm sistēmām, pārvietojas un cīnās atsevišķi. Viņa redz iespēju viņus savienot un izveidot plašāku cilvēku kopienu, kas var palīdzēt viens otram. Viņa saka, ka mums visiem ir vajadzīga lielāka apmācība, vairāk zināšanu — ne tikai tiesību aktos, bet arī šajās sistēmās. Galu galā ir tā, it kā katrs gadījums pārvērtīsies par algoritmu.

Saistīts stāsts

Pieteikšanās, lai tiktu izraidīta: Amerikas virtuālās izlikšanas krīze Tūkstošiem īrnieku tiek izmesti no savām mājām ar tālruņa un videozvana palīdzību.

Ilgtermiņā viņa iedvesmu meklē krimināltiesību pasaulē. Viņa saka, ka krimināladvokāti ir apsteiguši līkni, organizējoties kā kopienai un atkāpjoties no riska novērtēšanas algoritmiem, kas nosaka sodu. Viņa vēlas, lai civilie juristi darītu to pašu: radītu kustību, lai nodrošinātu lielāku publisku kontroli un regulējumu slēptajam algoritmu tīklam, ar ko saskaras viņu klienti. Dažos gadījumos tas, iespējams, vienkārši ir jāslēdz, jo nav iespējas to padarīt taisnīgu, viņa saka.

Kas attiecas uz Mirjamu, pēc Nika notiesāšanas viņa aizgāja uz visiem laikiem. Viņa ar trim bērniem pārcēlās uz jaunu štatu un bija saistīta ar bezpeļņas organizāciju, kas atbalsta piespiedu parādu un vardarbības ģimenē izdzīvojušos. Caur tiem viņa apmeklēja vairākas nodarbības, kurās viņai mācīja pārvaldīt savas finanses. Organizācija palīdzēja viņai atlaist daudzus piespiedu parādus un uzzināt vairāk par kredīta algoritmiem. Kad viņa devās pirkt automašīnu, viņas kredītreitings tik tikko sasniedza minimumu, un viņas tēvs bija līdzparakstītājs. Kopš tā laika viņas pastāvīgie maksājumi par automašīnu un studentu parādi ir lēnām papildinājuši viņas kredītreitingu.

Mirjamai joprojām ir jāsaglabā modrība. Nikam ir viņas sociālās apdrošināšanas numurs, un viņi vēl nav šķīrušies. Viņa pastāvīgi uztraucas, ka viņš varētu atvērt vairāk kontu, ņemt vairāk kredītu uz viņas vārda. Kādu laiku viņa katru dienu pārbaudīja savu kredītvēsturi par krāpnieciskām darbībām. Taču mūsdienās viņai ir arī ko gaidīt. Viņas tētis, kuram ir 60 gadi, vēlas doties pensijā un ievākties. Tagad viņi abi ir vērsti uz gatavošanos mājokļa iegādei. Esmu diezgan satriekts par to. Mans mērķis ir līdz gada beigām sasniegt 700, viņa saka par savu rezultātu, un tad es noteikti esmu gatavs mājas pircējam.

Es nekad neesmu dzīvojusi mājā, kas man piederējusi, viņa piebilst. Viņš un es strādājam kopā, lai ietaupītu uz mūžu māju.

paslēpties