Neobjektivitāte nav vienīgā kredītpunktu problēma, un nē, AI nevar palīdzēt

Ms Tech | Sindija Tanga/Unsplash

Mēs jau zinājām, ka neobjektīvi dati un neobjektīvi algoritmi sagroza automatizētu lēmumu pieņemšanu tādā veidā, kas nelabvēlīgi ietekmē zemu ienākumu un minoritāšu grupas. Piemēram, banku izmantotā programmatūra lai prognozētu, vai kāds atmaksās kredītkaršu parādu, parasti dod priekšroku turīgākiem baltajiem pieteikuma iesniedzējiem. Daudzi pētnieki un virkne jaunuzņēmumu cenšas šo problēmu novērst padarot šos algoritmus godīgākus .

Saistīts stāsts

Gaidāmais karš pret slēptajiem algoritmiem, kas iespiež cilvēkus nabadzībā Pieaugoša juristu grupa atklāj, pārvietojas un cīnās pret automatizētajām sistēmām, kas liedz nabadzīgos mājokļus, darbavietas un pamatpakalpojumus.

Bet iekšā jebkad lielākais reālo hipotēku datu pētījums , ekonomisti Laura Blatnere no Stenfordas universitātes un Skots Nelsons no Čikāgas universitātes parāda, ka atšķirības hipotēkas apstiprināšanā starp mazākumtautību un vairākuma grupām nav saistītas tikai ar aizspriedumiem, bet gan ar faktu, ka mazākumtautību un zemu ienākumu grupu kredītvēstures ir mazāk datu. vēstures.

Tas nozīmē, ka, ja šie dati tiek izmantoti, lai aprēķinātu kredītreitingu, un šis kredītreitings tiek izmantots, lai prognozētu aizdevuma saistību nepildīšanu, šī prognoze būs mazāk precīza. Tieši šis precizitātes trūkums izraisa nevienlīdzību, nevis tikai neobjektivitāti.

Sekas ir asas: godīgāki algoritmi problēmu neatrisinās.

Tas ir patiešām pārsteidzošs rezultāts, saka Ešs Rambačāns, kurš studē mašīnmācīšanos un ekonomiku Hārvardas universitātē, bet nebija iesaistīts pētījumā. Neobjektivitāte un nevienmērīga kredītvēsture ir bijusi aktuāla problēma jau kādu laiku, taču šis ir pirmais liela mēroga eksperiments, kurā aplūkoti miljoniem reālu cilvēku aizdevuma pieteikumi.

Kredītreitingi vienā skaitlī saspiež dažādus sociālekonomiskos datus, piemēram, nodarbinātības vēsturi, finanšu ierakstus un pirkšanas paradumus. Papildus lēmumu pieņemšanai par aizdevuma pieteikumiem kredītreitingi tagad tiek izmantoti, lai pieņemtu daudzus lēmumus, kas maina dzīvi, tostarp lēmumus par apdrošināšanu, īri un mājokli.

Lai noskaidrotu, kāpēc hipotēku aizdevēji pret mazākuma un vairākuma grupām izturējās atšķirīgi, Blatners un Nelsons apkopoja kredīta ziņojumus par 50 miljoniem anonimizētu ASV patērētāju un piesaistīja katru no šiem patērētājiem viņu sociāli ekonomiskajām detaļām, kas iegūtas no mārketinga datu kopas, viņu īpašuma dokumentiem un hipotēkas darījumi un dati par hipotēkas aizdevējiem, kas viņiem izsniedza aizdevumus.

Viens no iemesliem, kāpēc šis ir pirmais šāda veida pētījums, ir tas, ka šīs datu kopas bieži ir patentētas un nav publiski pieejamas pētniekiem. Mēs devāmies uz kredītbiroju, un būtībā mums bija jāmaksā viņiem daudz naudas, lai to izdarītu, saka Blatners.

Trokšņaini dati

Pēc tam viņi eksperimentēja ar dažādiem prognozēšanas algoritmiem, lai parādītu, ka kredītreitingi nebija vienkārši neobjektīvi, bet arī trokšņaini — statistikas termins datiem, ko nevar izmantot, lai veiktu precīzas prognozes. Ņemiet vērā mazākuma pretendentu ar kredītreitingu 620. Neobjektīvā sistēmā mēs varētu sagaidīt, ka šis rādītājs vienmēr pārspīlēs šī pretendenta risku un ka precīzāks rādītājs būtu, piemēram, 625. Teorētiski šo neobjektivitāti varētu ņemt vērā, izmantojot kādu algoritmisku apstiprinošu darbību, piemēram, samazinot mazākuma pieteikumu apstiprināšanas slieksni.

Saistīts stāsts

Podcast: vai AI var labot jūsu kredītvēsturi?

Kredītpunktu noteikšanas automatizācijas radītā ietekme pārsniedz finanses

Bet Blatners un Nelsons parāda, ka pielāgošanai neobjektivitātei nebija nekādas ietekmes. Viņi atklāja, ka mazākuma pieteikuma iesniedzējas vērtējums 620 patiešām bija slikts viņas kredītspējas rādītājs, taču tas notika tāpēc, ka kļūda var būt abpusēji: 620 varētu būt 625 vai 615.

Šī atšķirība var šķist smalka, taču tai ir nozīme. Tā kā neprecizitāte rodas no trokšņa datos, nevis no novirzēm datu izmantošanā, to nevar novērst, izveidojot labākus algoritmus.

Tas ir pašpārliecinošs cikls, saka Blatners. Mēs izsniedzam aizdevumus nepareizajiem cilvēkiem, un daļai iedzīvotāju nekad nav iespējas apkopot datus, kas nepieciešami, lai viņiem nākotnē piešķirtu aizdevumu.

Pēc tam Blatners un Nelsons mēģināja izmērīt, cik liela ir problēma. Viņi izveidoja savu hipotekārā aizdevēja prognozēšanas rīka simulāciju un aplēsa, kas būtu noticis, ja tiem pieteicējiem, kuri būtu pieņemti vai noraidīti neprecīzu rezultātu dēļ, lēmumi tiktu mainīti. Lai to izdarītu, viņi izmantoja dažādas metodes, piemēram, salīdzināja noraidītos pretendentus ar līdzīgiem, kuri bija pieņemti, vai aplūkoja citas kredītlīnijas, ko bija saņēmuši noraidītie pretendenti, piemēram, auto aizdevumus.

Saliekot to visu kopā, viņi iekļāva šos hipotētiskos precīzos lēmumus par aizdevumu savā simulācijā un vēlreiz novērtēja atšķirību starp grupām. Viņi atklāja, ka, pieņemot, ka lēmumi par mazākumtautību un zemu ienākumu pretendentiem ir tikpat precīzi kā turīgākajiem, baltajiem, atšķirības starp grupām samazinājās par 50%. Mazākumtautību pieteikuma iesniedzējiem gandrīz puse no šī ieguvuma radās, novēršot kļūdas, kurās pieteikuma iesniedzējs būtu bijis jāapstiprina, bet tas netika apstiprināts. Pieteikuma iesniedzēji ar zemiem ienākumiem ieguva mazāku peļņu, jo to kompensēja kļūdu novēršana, kas notika pretējā virzienā: pieteikuma iesniedzēji, kuri bija jānoraida, bet netika noraidīti.

Blatners norāda, ka šīs neprecizitātes novēršana nāktu par labu aizdevējiem, kā arī nepietiekami apkalpotiem pieteikuma iesniedzējiem. Viņa saka, ka ekonomiskā pieeja ļauj mums jēgpilni noteikt trokšņaino algoritmu izmaksas. Mēs varam novērtēt, cik daudz kredītu nepareizas piešķiršanas notiek tā dēļ.

Pārkāpumu labošana

Taču problēmas novēršana nebūs vienkārša. Ir daudz iemeslu, kāpēc mazākumtautību grupām ir trokšņaini kredītdati, saka Rašida Ričardsone, juriste un pētniece, kura Ziemeļaustrumu universitātē studē tehnoloģiju un sacīkstes. Viņa saka, ka pastāv sarežģītas sociālās sekas, ja dažas kopienas var nemeklēt tradicionālos kredītus, jo neuzticas banku iestādēm. Jebkurš labojums būs jārisina pamatcēloņi . Vairāku paaudžu kaitējuma novēršanai būs nepieciešami neskaitāmi risinājumi, tostarp jauni banku noteikumi un ieguldījumi mazākumtautību kopienās. Risinājumi nav vienkārši, jo tiem ir jārisina tik daudz dažādu sliktu politiku un prakses.

Saistīts stāsts

Prognozējošie policijas algoritmi ir rasistiski. Tie ir jāizjauc. Pārredzamības trūkums un neobjektīvi apmācības dati nozīmē, ka šie rīki nav piemēroti mērķim. Ja mēs nevaram tos salabot, mums tie ir jāatsakās.

Viena no iespējām īstermiņā varētu būt valdībai vienkārši piespiest aizdevējus pieņemt risku izsniegt aizdevumus mazākuma pieteikuma iesniedzējiem, kurus viņu algoritmi noraida. Tas ļautu aizdevējiem pirmo reizi sākt vākt precīzus datus par šīm grupām, kas ilgtermiņā dotu labumu gan pretendentiem, gan aizdevējiem.

Daži mazāki aizdevēji jau sāk to darīt, saka Blatners: Ja esošie dati neko daudz nepasaka, izejiet un noformējiet aizdevumus un uzziniet par cilvēkiem. Arī Rambačāns un Ričardsons to uzskata par nepieciešamu pirmo soli. Taču Rambačāns domā, ka lielākajiem aizdevējiem būs nepieciešamas kultūras pārmaiņas. Viņš saka, ka idejai ir liela nozīme datu zinātnes pūlim. Tomēr, kad viņš runā ar šīm banku komandām, viņi atzīst, ka tas nav vispārpieņemts viedoklis. Viņi nopūšas un teiks, ka viņi to nevar izskaidrot biznesa komandai, viņš saka. Un es neesmu pārliecināts, kāds tam ir risinājums.

Blatners arī domā, ka kredītreitingi būtu jāpapildina ar citiem datiem par pretendentiem, piemēram, bankas darījumiem. Viņa atzinīgi vērtē dažu banku, tostarp JPMorgan Chase, neseno paziņojumu, ka tās sāks koplietot datus par savu klientu banku kontiem kā papildu informācijas avotu personām ar sliktu kredītvēsturi. Bet būs nepieciešams vairāk pētījumu, lai redzētu, kāda būs atšķirība praksē. Un sargsuņiem būs jānodrošina, lai lielāka piekļuve kredītiem neiet roku rokā ar plēsonīgu kreditēšanas uzvedību, saka Ričardsons.

Daudzi cilvēki tagad apzinās problēmas ar neobjektīviem algoritmiem, saka Blatners. Viņa vēlas, lai cilvēki sāktu runāt arī par trokšņainiem algoritmiem. Koncentrēšanās uz neobjektivitāti un pārliecība, ka tai ir tehnisks labojums, nozīmē, ka pētnieki var neievērot plašāku problēmu.

Ričardsons uztraucas, ka politikas veidotāji tiks pārliecināti, ka tehnoloģijām ir atbildes, ja tās nav. Viņa saka, ka nepilnīgi dati ir satraucoši, jo to noteikšana prasīs pētniekiem diezgan niansētu izpratni par sabiedrības nevienlīdzību. Ja mēs vēlamies dzīvot vienlīdzīgā sabiedrībā, kurā visi jūtas piederīgi un pret viņiem izturas ar cieņu, tad mums jāsāk būt reālistiskiem attiecībā uz problēmu nopietnību un apjomu, ar ko saskaramies.

paslēpties