AI ir saasinājusi rasu aizspriedumus mājokļu jomā. Vai tā vietā tas varētu palīdzēt to novērst?

Diskusija par to, vai mašīnas kādreiz var būt godīgākas par cilvēkiem. Autors

• Čārltons Makilveins arhīva lapa

2020. gada 20. oktobris

Andrea Dakino

Mūsu gaidāmais žurnāla numurs ir veltīts ilgtermiņa problēmām. Dažas problēmas ir ilgtermiņa vai grūtāk atrisināmas nekā Amerikas sistēmiskā rasu nevienlīdzība. Un īpaši iesakņojusies tā forma ir mājokļu diskriminācija.

Banku, apdrošināšanas kompāniju un nekustamo īpašumu brokeru ilgā polišu vēsture ir liegusi krāsainiem cilvēkiem iespēju iegūt īpašumā māju, koncentrēt bagātību un īpašumus balto cilvēku un kopienu rokās, kā arī iemūžināt de facto segregāciju. Lai gan šīs politikas — ar tādiem nosaukumiem kā redlining, blockbusting, rasu zonējums, ierobežojoši līgumi un rasu vadība — vairs nav likumīgas, to sekas saglabājas, un dažreiz tās joprojām tiek īstenotas slēpti vai netīši.

Šis stāsts bija daļa no mūsu 2020. gada novembra numura

• Skatiet pārējo izdevuma daļu
• Abonēt

Tehnoloģija dažos gadījumos ir saasinājusi Amerikas sistēmisko rasu aizspriedumus. Piemēram, ir pierādīts, ka, piemēram, algoritmiski pamatota sejas atpazīšana, paredzamā kārtības nodrošināšana un lēmumi par sodu un drošības naudu konsekventi rada sliktākus rezultātus melnādainiem cilvēkiem. Arī mājokļu jomā Kalifornijas Universitātes Bērklijā jaunākie pētījumi parādīja, ka uz mākslīgo intelektu balstīta hipotekāro kredītu sistēma melnajiem un spāņu izcelsmes aizņēmējiem iekasēja augstākas likmes nekā baltajiem cilvēkiem par tiem pašiem aizdevumiem.

Vai tā vietā tehnoloģiju varētu izmantot, lai mazinātu mājokļu neobjektivitāti? Mēs sapulcējām dažus ekspertus, lai apspriestu iespējas. Viņi ir:

Liza Raisa

Nacionālās godīgo mājokļu alianses prezidents un izpilddirektors — lielākais organizāciju konsorcijs, kas nodarbojas ar mājokļu diskriminācijas izbeigšanu.

Bobijs Bārtlets

UC Berkeley tiesību profesors, kurš vadīja pētījumu, sniedzot dažus no pirmajiem liela mēroga pierādījumiem par to, kā mākslīgais intelekts rada diskrimināciju hipotekārās kreditēšanas jomā.

Čārltons Makilveins

NYU mediju, kultūras un komunikācijas profesors un autors Melnā programmatūra: internets un rasu taisnīgums, no Afronet līdz Black Lives Matter .

---

Šī diskusija skaidrības labad ir rediģēta un saīsināta.

Makilveins: Kad es pagājušā gada decembrī liecināju Kongresā par automatizācijas un AI ietekmi uz finanšu pakalpojumu nozari, es citēju nesen veiktu pētījumu, kurā atklājās, ka atšķirībā no cilvēku kredītu darbiniekiem automatizētās hipotekārās kreditēšanas sistēmas godīgi apstiprināja mājokļa aizdevumus, nediskriminējot pēc rases. Tomēr automatizētās sistēmas joprojām iekasē no melnādainiem un spāņu aizņēmējiem ievērojami augstākas cenas par šiem aizdevumiem.

Tas padara mani skeptisku, ka AI var vai darīs labāk nekā cilvēki. Bobijs — šī bija tava studija. Vai jūs izdarījāt tādus pašus secinājumus?

Bārtleta: Mums bija piekļuve datu kopai, kas ļāva mums identificēt reģistrēto aizdevēju un to, vai šis aizdevējs izmantoja pilnībā automatizētu sistēmu, bez cilvēka iejaukšanās — vismaz apstiprinājuma un parakstīšanas ziņā. Mums bija informācija par reģistrētā aizņēmēja rasi un etnisko piederību, un mēs varējām noteikt, vai apstiprināto aizdevumu cenas atšķiras atkarībā no rases. Faktiski tas notika, par aptuveni 800 miljoniem USD gadā.

Kāpēc ir tā, ka šie algoritmi, kas ir akli pret aizņēmēja rasi vai etnisko piederību, būtu šādā veidā diskriminējoši? Mūsu darba hipotēze ir tāda, ka algoritmi bieži vienkārši cenšas palielināt cenu. Jādomā, ka tas, kurš izstrādā algoritmu, neapzinās šīs vienprātīgās koncentrēšanās uz rentabilitāti rasu sekas. Bet viņiem ir jāsaprot, ka pastāv šī rasu dinamika, ka viņu izmantotie starpniekservera mainīgie — visticamāk, tieši šeit ir diskriminācija. Savā ziņā kodā tiek faktiski nomainīta sarkanākā šķirne. Tas atgādina to, kas notiek hipotēku tirgū kopumā. Mēs zinām, ka brokeri piedāvās augstākas cenas mazākuma aizņēmējiem, zinot, ka daži to noraidīs, bet citi, visticamāk, to pieņems dažādu iemeslu dēļ.

Makilveins: Man ir teorija, ka viens no iemesliem, kāpēc mēs nonākam pie neobjektīvām sistēmām — pat tad, ja tās ir veidotas tā, lai tās būtu mazāk diskriminējošas — ir tas, ka cilvēki, kas tās izstrādā, īsti nesaprot problēmas sarežģītību. Man šķiet, ka ir zināms naivums, domājot, ka sistēma būtu bez aizspriedumiem tikai tāpēc, ka tā ir akla rasei.

Rīsi: Zini, Čārlton, mums bija tāda pati perspektīva kā jums 90. gados un 2000. gadu sākumā. Mēs aizliedzām finanšu iestādēm izmantot apdrošināšanas vērtēšanas, uz risku balstītas cenas vai kredīta vērtēšanas sistēmas tikai šim nolūkam. Mēs sapratām, ka pašas sistēmas izpauž neobjektivitāti. Bet tad mēs sākām teikt, ka varat tos izmantot tikai tad, ja tie palīdz cilvēkiem, paplašina piekļuvi vai rada godīgākas cenas.

Makilveins: Vai cilvēki, kas izstrādā šīs sistēmas, kļūdās, jo viņi patiešām neizprot mājokļu diskriminācijas pamatā esošo problēmu? Un vai jūsu optimisma avots ir fakts, ka jūs un tādas organizācijas kā jūs saprotat šo sarežģītību?

Rīsi: Mēs esam pilsoņu tiesību organizācija. Tādi mēs esam. Mēs visu savu darbu veicam, izmantojot rasu vienlīdzības objektīvu. Mēs esam pretrasisma organizācija.

Risinot pārklāšanas un apvērstās redlinēšanas gadījumus, mēs mudinājām finanšu iestādes un apdrošināšanas aģentūras pārdomāt savus uzņēmējdarbības modeļus, pārdomāt mārketinga veidus, pārdomāt savas parakstīšanas vadlīnijas, pārdomāt produktus, ko tās izstrādā. Un es domāju, ka iemesls, kāpēc mēs to varējām izdarīt, ir tas, ka mēs esam pilsoņu tiesību aģentūra.

Saistīts stāsts

Protams, tehnoloģijas turpina rasismu. Tas tika izveidots tā. Melnie amerikāņi ir redzējuši, ka tehnoloģija tiek izmantota, lai viņus mērķētu atkal un atkal. Pārtraukt to nozīmē paskatīties uz problēmu savādāk.

Mēs sākam, palīdzot korporācijām izprast mājokļu un finanšu vēsturi Amerikas Savienotajās Valstīs un to, kā visa mūsu mājokļu un finanšu politika ir īstenota, ņemot vērā rasu objektīvu. Sistēmas izstrādi nevar sākt no nulles un domāt, ka sistēma būs godīga. Jums tas ir jāizstrādā tā, lai tiktu izmantotas pretrasistiskas tehnoloģijas un metodoloģijas.

Makilveins: Vai mēs joprojām varam reāli atrisināt šo problēmu, izmantojot mūsu rīcībā esošos tehnoloģiskos rīkus? Ja jā, ar ko sākt?

Rīsi: Jā — kad 2008. gada finanšu krīze bija nedaudz beigusies un mēs paskatījāmies uz augšu, likās, ka tehnoloģija mūs bija apsteigusi. Un tā mēs nolēmām, varbūt, ja nevarēsim pārspēt, varbūt pievienosimies. Tāpēc mēs pavadījām daudz laika, mēģinot uzzināt, kā darbojas uz algoritmiem balstītas sistēmas, kā darbojas AI, un patiesībā esam nonākuši līdz vietai, kur mēs domājam, ka tagad varam izmantot tehnoloģiju, lai palīdzētu mazināt diskriminējošus rezultātus.

Ja mēs saprotam, kā šīs sistēmas izpaužas neobjektivitātē, mēs, cerams, varēsim iekļūt iekšienē un pēc tam atslogot šīs sistēmas un izveidot jaunas sistēmas, kas tajās izmantos nobīdes metodes.

Mums patiešām nav regulējošo aģentūru, kas saprastu, kā veikt aizdevējas iestādes pārbaudi, lai noskaidrotu, vai tās sistēma ir neobjektīva.

Bet, domājot par to, cik tālu mēs esam atpalikuši no līknes, ir patiešām biedējoši domāt par visu darāmo darbu, visiem pētījumiem, kas jāpaveic. Mums vajag vairāk pasaules Bobiju. Bet arī visa izglītība, kas jāveic, lai datu zinātnieki saprastu šos jautājumus.

Rīsi: Mēs cenšamies panākt, lai regulatori saprastu, kā sistēmas izpaužas neobjektivitātē. Ziniet, mums tiešām nav tādu pārbaudītāju grupas regulatīvajās aģentūrās, kas saprastu, kā veikt aizdevējas iestādes eksāmenu, lai noskaidrotu, vai tās sistēma — tās automatizētā parakstīšanas sistēma, mārketinga sistēma, apkalpošanas sistēma — ir vai nav. neobjektīvs. Taču pašas iestādes izstrādā savu organizatorisko politiku, kas var palīdzēt.

Otra lieta, kas mums ir jādara, ir patiešām palielināt tehnoloģiju telpas daudzveidību. Mums ir jāiesaista vairāk studentu no dažādām vidēm STEM jomās un tehnoloģiju jomā, lai palīdzētu īstenot pārmaiņas. Es varu iedomāties vairākus piemērus, kur tikai krāsainas personas iekļaušana komandā radīja būtiskas izmaiņas, palielinot izstrādātās tehnoloģijas godīgumu.

Makilveins: Kādu lomu spēlē politika? Man ir sajūta, ka tāpat kā civiltiesību organizācijas atpalika no nozares attiecībā uz izpratni par to, kā darbojas algoritmiskās sistēmas, daudzi mūsu politikas veidotāji ir aiz līknes. Es nezinu, cik lielu ticību es liktu viņu spējai reāli darboties kā efektīvai sistēmas pārbaudei vai tam, ka jaunās AI sistēmas ātri nonāk hipotēkas arēnā.

Makilveins: Es palieku skeptisks. Pagaidām, manuprāt, problēmas apjoms joprojām ievērojami pārsniedz mūsu kolektīvo cilvēku gribu un mūsu tehnoloģiju iespējas. Bobij, vai, jūsuprāt, tehnoloģija var palīdzēt?
šī problēma?

Bārtleta: Man ir jāatbild, ka ar juristu Tas ir atkarīgs. Tas, ko mēs redzam, vismaz kreditēšanas kontekstā, ir tas, ka jūs varat novērst neobjektivitātes un diskriminācijas avotu, ko novērojāt, mijiedarbojoties aci pret aci, izmantojot sava veida algoritmisku lēmumu pieņemšanu. Otrā puse ir tāda, ka, ja tas tiek īstenots nepareizi, jūs varat iegūt lēmumu pieņemšanas aparātu, kas ir tikpat slikts kā redlining režīms. Tātad tas tiešām ir atkarīgs no izpildes, tehnoloģijas veida un rūpības, ar kādu tā tiek izmantota. Bet godīgs kreditēšanas režīms, kas tiek īstenots, izmantojot automatizētu lēmumu pieņemšanu? Es domāju, ka tas ir patiešām izaicinošs piedāvājums. Un es domāju, ka žūrija joprojām ir ārpusē.

paslēpties