Podcast: vai AI var labot jūsu kredītvēsturi?

Ms Tech | Pexels

Kredītreitingi ir izmantoti gadu desmitiem, lai novērtētu patērētāju kredītspēju, taču tagad to darbības joma ir daudz plašāka, jo tos nodrošina algoritmi. Viņi ne tikai ņem vērā daudz vairāk datu gan apjoma, gan veida, bet arī arvien vairāk ietekmē to, vai varat iegādāties automašīnu, īrēt dzīvokli vai iegūt pilnas slodzes darbu. Šajā otrajā sērijā par automatizāciju un mūsu makiem mēs izpētām, cik daudz mūsu kredītspēju nosaka iekārtas, kas ietekmējušas daudz vairāk nekā mūsu finansiālo dzīvi.

Mēs satikāmies:

• Chi Chi Wu, Valsts patērētāju tiesību centra personāla advokāts
• Mišela Gilmana, Baltimoras Universitātes tiesību profesore
• Maiks de Vere, Zest AI izpilddirektors

Kredīti:

Šo sēriju producēja Dženifera Stronga, Kārena Hao, Emma Cillekensa un Entonijs Grīns. Mūs rediģē Maikls Reilijs.

Atšifrējums:

[TECH PĀRSKATS ID]

Mirjama : Nereti bija gadījumi, kad tika izslēgts no mūsu viesnīcas numura vai atslēga nedarbojas, un viņam bija jāiet uz reģistratūru un jārīkojas ar to. Un tas nebija nekas neparasts, ka restorānā samaksāja rēķinu un pēc tam atgriež čeku.

Dženifera: Mēs šo sievieti sauksim par Mirjamu, lai aizsargātu viņas privātumu. Viņai bija 21 gads, kad viņa satika vīrieti, kuru apprecēs... un... dažu īsu gadu laikā... apgrieza savu dzīvi... un finansiālo stāvokli... otrādi.

Mirjama: Bet viņam vienmēr bija iemesls, un tā vienmēr bija kāda cita vaina.

Dženifera: Kad viņi pirmo reizi satikās, Mirama strādāja divos darbos, viņa rakstīja budžetus uz tāfeles un iespieda studentu parādus.

Viņas kredīts bija tīrs.

Mirjama: Viņš aizveda mani uz vakariņām un veda mani nelielos ceļojumos, ziniet, divu vai trīs nakšu brīvdienu piedāvājumos uz pludmali vai, ziniet, vietējās lietas. Un viņš vienmēr maksāja par visu, un es vienkārši domāju, ka tas bija tik jautri.

Mirjama: Un tad viņš sāka jautāt, vai viņš varētu izmantot manas tukšās kredītkartes kādam no saviem uzņēmumiem. Un viņš iekasēja visu summu, apmēram 5000, un pēc tam to samaksāja, es domāju, divu vai trīs dienu laikā katru reizi. Un viņš to vienkārši nosauca par apvēršanu. Kādu laiku tas notika. Un tajā laikā tas vienkārši kļuva par normālu lietu. Un tāpēc es pārstāju tam pievērst uzmanību.

Dženifera: Līdz kādu dienu... visa viņas pasaule sabruka.

Mirjama: Man bija, redzēsim sešgadīgu, divus gadus vecu un četrgadīgu, un ir Helovīna rīts, un mēs ēdamistabā gatavojamies vest viņu uz pirmsskolu. Un, hm, FIB atnāca un arestēja manu vīru, un, piemēram, tas ir gluži kā filmās, zini, viņi iziet cauri visām jūsu lietām un sūta uz jūsu māju baru vīriešus ar dubļainiem zābakiem un ieročiem.

Dženifera: Federālais tiesnesis notiesāja viņas vīru par ceturtdaļmiljonu dolāru krāpšanos ar vadu... un Mirjama atklāja desmitiem tūkstošu dolāru lielu parādu uz viņas vārda.

Viņai atlika savākt gabalus... un finanses.

Mirjama : Es domāju, ka mans kredītreitings vienā brīdī bija zem 500. Es domāju, ka tas vienkārši nokrita, un tas prasa ilgu laiku, lai no tā izraktu, bet es esmu iemācījies, ka tas ir pamazām... par ko man bija jāizglītojas. Es domāju, kopš visas šīs sagrāves šeit, hm, es nekad neko neesmu palaidis garām. Man šķiet, ka man svarīgāk par citām lietām ir saglabāt savu kredītvēsturi zelta līmenī.

Dženifera: Viņa ir izdzīvojusi no tā sauktā piespiedu parāda. Tā ir ekonomiska vardarbība... parasti to veic partneris vai ģimenes loceklis.

Mirjama: Nav fizisku brūču. Taisnība. Un tas nav kaut kas tāds, kā jūs varat izsaukt policiju kādam. Un arī tā parasti nav naidīga situācija. Parasti tā ir skaista, tā ir mierīga saruna, kurā viņš iestrādājas un pēc tam iegūst to, ko vēlas.

Dženifera: Ekonomiskā ļaunprātīga izmantošana nav nekas jauns, taču, tāpat kā identitātes zādzība, tā ir kļuvusi daudz vienkāršāka tiešsaistes formu un automatizētu lēmumu digitālajā pasaulē.

Mirjama: Es zinu, kas ir algoritms. Es to saprotu. Bet, piemēram, ko tu domā manu kredīta algoritmu?

Dženifera: Viņa atkal piecēlās kājās… bet daudzi to nedara… un, algoritmiem turpinot pārņemt mūsu finanšu kredītu sistēmu, daži apgalvo, ka tas varētu kļūt daudz sliktāks.

Giļmans: Mums ir sistēma, kas padara cilvēkus, kuri piedzīvo grūtības, nekontrolējamus, izskatās kā miruši, kas savukārt ietekmē viņu spēju iegūt iespējas, kas nepieciešamas, lai izvairītos no nabadzības un iegūtu ekonomisko stabilitāti.

Dženifera: Bet citi strīdas taisnība kredītpunktu noteikšanas algoritmi… varētu būt vārti uz labāku nākotni… kur var izskaust aizspriedumus… un padarīt sistēmu godīgāku.

No Vere: Tātad no mana viedokļa kredīts ir vienāds ar iespēju. Sabiedrībai ir ļoti svarīgi, lai mēs to pareizi saprastu. Mēs uzskatām, ka tam var būt 2.0 versija, izmantojot mašīnmācīšanos.

Dženifera: Es esmu Dženifera Stronga, un šajā otrajā sērijā par automatizāciju un mūsu makiem... mēs pētām, cik daudz mūsu kredītspēju nosaka iekārtas, kas ietekmējušas daudz vairāk nekā mūsu finansiālo dzīvi.

[IMWT ID]

Dženifera: Agrāk bija gadījumi, kad kāds gribēja aizdevumu… viņi izveidoja attiecības ar cilvēkiem bankā vai krājaizdevu sabiedrībā, kuri pieņēma lēmumus par to, cik drošs vai riskants šķita šis ieguldījums.

Tāpat kā šī aina no 1940. gadu Ziemassvētku klasikas, Tā ir brīnišķīga dzīve..., kur filmas galvenais varonis nolemj aizdot savu naudu klientiem, lai saglabātu savu biznesu. pēc skrējiena mēģinājuma krastā.

Džordžs: Es saņēmu 2000 USD! Lūk, 2000 ASV dolāru, kas mūs saista līdz bankas atvēršanai. Labi, Tom, cik daudz tev vajag?

Toms: 242 ASV dolāri.

Džordžs: Ak Tom. Pietiekami daudz, lai jūs pārņemtu, līdz banka atkal sāk darboties.

Toms: Es ņemšu 242 USD!

Džordžs: Lūk kur tu esi.

Toms: Tādējādi mans konts tiks slēgts.

Džordžs: Jūsu konts joprojām ir šeit. Tas ir aizdevums!

Dženifera: Mūsdienās bankas izsniedz aizdevumus, nekad nesatiekot daudzus savus klientus… Bieži vien šie lēmumi ir automatizēti… pamatojoties uz datiem no jūsu kredīta ziņojuma… kas izseko tādas lietas kā kredītkaršu atlikumi, automašīnu aizdevumi, studentu parādi... un ietver dažādus citus personas dati…

1950. gados nozare vēlējās veidu, kā standartizēt šos ziņojumus... tāpēc datu zinātnieki izdomāja veidu, kā iegūt šo informāciju... palaist to caur datormodeli un izspļaut skaitļus....

Tas ir jūsu kredītreitings… un ne tikai bankas tos izmanto lēmumu pieņemšanai. Atkarībā no tā, kur jūs dzīvojat, uz šo numuru atsaucas visdažādākās grupas… tostarp namīpašnieki… apdrošināšanas sabiedrības… pat darba devēji.

Wu: Patērētāji nav kredītbiroju klienti. Mēs esam vai mūsu dati ir prece. Mēs neesam klienti, mēs esam vistas. Mēs, mēs esam tā lieta, kas tiek pārdota….

Dženifera: Chi Chi Wu ir patērētāju tiesību aizstāvis un advokāts Nacionālajā Patērētāju tiesību centrā.

Wu: Tā rezultātā stimuli šajā tirgū ir kaut kā sajaukti. Stimuli ir kalpot kreditoru un citu pārskatu lietotāju, nevis patērētāju vajadzībām.

Dženifera: Runājot par kredīta pārskatiem, ir trīs atslēgu glabātāji…. Equifax, Experian un Transunion.

Taču šie ziņojumi nebūt nav visaptveroši… un tie var būt neprecīzi.

Wu: Kredīta pārskatos ir nepieņemami augsts kļūdu līmenis. Hm, tagad dati no federālās tirdzniecības komisijas galīgā pētījuma atklāja, ka katram piektajam patērētājam savā kredītvēstures ziņojumā ir bijusi pārbaudīta kļūda. Un vienam no 20 vai 5% bija tik nopietna kļūda, ka viņiem tiktu atteikts kredīts vai arī viņiem būtu jāmaksā vairāk.

Dženifera: Sūdzības federālajai valdībai par šiem ziņojumiem pēdējos gados ir pieaugušas… un pagājušajā gadā pandēmijas laikā? Sūdzības par kļūdām dubultojās.

Tās veido vairāk nekā pusi no visām sūdzībām, kas iesniegtas C-F-P-B vai ASV valdības Patērētāju finanšu aizsardzības birojam.

Bet Vu uzskata, ka pat bez kļūdām veids, kā tiek izmantoti kredītreitingi..., ir problēma.

Wu: Tātad problēma ir darba devēji... namīpašnieki. Viņi sāk skatīt kredītvēstures ziņojumus un kredītreitingus kā sava veida atspoguļojumu par personas atbildību, viņa vērtību kā personību un raksturu. Un tas ir pilnīgi nepareizi. Mēs redzam, ka cilvēki savā kredītvēstures ziņojumā saņem negatīvu informāciju, jo viņiem ir radušās finansiālas grūtības, jo ar viņiem ir noticis kaut kas slikts. Tātad cilvēki, kuri ir zaudējuši darbu, saslimuši. Hm, viņi nevar samaksāt savus rēķinus. Un šī pandēmija to lieliski ilustrē, un to tiešām var redzēt rasu atšķirībās kredītvērtējumā. Kredītreitingi melnādainajām kopienām ir daudz zemāki nekā balto kopienām, un latīņu X kopienām tas ir kaut kur pa vidu. Un tam nav nekāda sakara ar raksturu. Tas viss ir saistīts ar nevienlīdzību.

Dženifera: Tā kā nozare aizvieto vecākas kredītpunktu noteikšanas metodes ar mašīnmācīšanos, viņa uztraucas, ka tas varētu nostiprināt problēmu.

Wu: Un, ja tas netiks kontrolēts, ja tam netiks veikta apzināta kontrole, ja mēs no tā neuzmanīsimies, tas pats notiks ar tiem algoritmiem, kas notika ar kredītpunktu vērtēšanu, kas būs, tie kavēs vēsturiski marginalizēto kopienu progresu. .

Dženifera: Viņa īpaši uztraucas par uzņēmumiem, kuri sola, ka viņu kredītpunktu noteikšanas algoritmi ir godīgāki, jo tie izmanto alternatīvus datus.... dati, kas it kā ir mazāk pakļauti rasu aizspriedumiem...

Wu: Piemēram, jūsu mobilā telefona rēķins vai īres maksa, um, līdz dīvainākiem, lielajiem datiem. Kas ir jūsu sociālo mediju plūsmā par pirmā veida alternatīvajiem datiem, kas ir sava veida parastie vai finansiālie dati, hm, mana mantra ir bijusi velna pārņemta detaļās. Daži no šiem datiem izskatās daudzsološi. Cita veida šie dati var būt ļoti riskanti. Tās ir manas bažas par mākslīgo intelektu un mašīnmācību. Ne tas, ka mums nekad nevajadzētu tos izmantot. Jums tie vienkārši ir jāizmanto, vai ne? Jums tie ir jāizmanto ar nolūku. Tie varētu būt risinājums. Ja viņiem tiek teikts, ka viens no jūsu mērķiem ir samazināt atšķirības atstumtajās grupās. Jūs zināt, ka jūsu mērķis ir būt tikpat prognozējošam vai paredzamākam ar mazākām atšķirībām.

Dženifera: Kongress apsver iespēju ierobežot darba devēju kredīta ziņojumu izmantošanu... un daži štati ir pārcēlušies, lai viņiem aizliegtu noteikt apdrošināšanas likmes... vai piekļuvi mājoklim par pieņemamu cenu.

Taču arī apziņa ir problēma.

Giļmans: Kredīta ziņošanai ir daudz kaitējuma, kas ietekmē cilvēkus bez viņu ziņas. Un, ja jūs nezināt, ka jums ir nodarīts kaitējums, jūs nevarat saņemt palīdzību vai līdzekļus,

Dženifera: Mišela Gilmane ir klīnisko tiesību profesore Baltimoras Universitātē…

Giļmans: Juridiskajā fakultātē man nemāca par algoritmisku lēmumu pieņemšanu, un lielākajai daļai tiesību zinātņu studentu joprojām nemāca. Un viņus var ļoti iebiedēt doma, ka viņiem būs jāizaicina kāds algoritms.

Dženifera: Viņa nav pārliecināta, kad pirmo reizi pamanīja, ka algoritmi pieņem lēmumus viņas klientu vietā. Taču izceļas viens gadījums... gados vecam un invalīdam klientam, kura mājas veselības aprūpes stundas Medicaid programmas ietvaros tika krasi samazinātas... lai gan klients kļuva arvien slimāks...

Giļmans: Un tikai tad, kad bijām administratīvo tiesību tiesneša priekšā apstrīdētā tiesas sēdē, kļuva skaidrs, ka stundu samazinājums ir saistīts ar algoritmu. Un tomēr valsts lieciniece, kas bija medmāsa, neko nevarēja paskaidrot par algoritmu. Viņa tikai atkal un atkal atkārtoja, ka tas ir starptautiski un statistiski apstiprināts, taču viņa nevarēja mums pastāstīt, kā tas darbojas, kādi dati tajā tika ievadīti, kādus faktorus tas sver, kā faktori tika nosvērti. Un tāpēc mans students advokāts skatās uz mani, un mēs skatāmies viens uz otru, domājot, kā mēs pārbaudām algoritmu?

Dženifera: Viņa sazinājās ar citiem juristiem visā valstī, kuri piedzīvoja to pašu. Un viņa saprata, ka problēma ir daudz lielāka…

Giļmans: Un, runājot par algoritmiem, tie darbojas gandrīz visos mūsu klientu dzīves aspektos.

Dženifera: Un kredīta ziņošanas algoritmi ir visizplatītākie.

Viņas firma redz upurus, kuri iedzīvojas negaidītos parādos... dažkārt grūtību dēļ... citreiz no medicīnas rēķiniem... vai... identitātes zādzības dēļ, kad kāds cits ņem kredītus uz jūsu vārda...

Taču ietekme ir tāda pati… tas samazina kredītreitingu… un pat tad, kad parāds tiek dzēsts, tam var būt ilgtermiņa ietekme.

Giļmans: Kā labam patērētāju advokātam mums ir jāzina, ka dažkārt nepietiek tikai ar faktiskās tiesvedības atrisināšanu jūsu priekšā. Jums ir arī jāiziet un jānotīra šo algoritmisko sistēmu viļņošanās efekti. Daudziem nabadzības juristiem ir tādas pašas tendences, kādas ir visiem iedzīvotājiem, redzot datora ģenerētu rezultātu un uzskatot, ka tas ir neitrāls, objektīvs, tas ir pareizi. Tā ir kaut kā maģija. Tas ir kā kalkulators. Un neviens no šiem pieņēmumiem nav patiess, taču mums ir vajadzīga apmācība un resursi, lai saprastu, kā šīs sistēmas darbojas. Un tad mums kā kopienai ir jāizstrādā labāki rīki, lai mēs varētu pārbaudīt šīs sistēmas, lai mēs varētu apstrīdēt šīs sistēmas.

Dženifera: Pēc pārtraukuma... Mēs aplūkojam centienus automatizēt godīgumu kredītvēstures ziņojumos.

[midroll]

No Vere: AI palīdz divos veidos: tas ir vairāk datu un labāka matemātika. Un tāpēc, ja domājat par pašreizējās matemātikas ierobežojumiem, jūs zināt, viņi var iegūt pāris desmitus mainīgo. Un, uh, ja es mēģinātu jums aprakstīt Dženiferu, ar diviem desmitiem mainīgo, es droši vien varētu iegūt diezgan labu aprakstu, bet iedomājieties, ja es varētu iegūt vairāk datu un es jūs aprakstītu ar 300. tūkstoš mainīgo lielumu, kas signalizē, un atrisinājums nodrošina daudz precīzāku jūsu kā aizņēmēja kredītspējas prognozi.

Dženifera: Maiks de Vere ir Zest AI izpilddirektors. Tas ir viens no vairākiem uzņēmumiem, kas vēlas palielināt kredīta un aizdevuma apstiprināšanas procesa caurskatāmību... ar programmatūru, kas izstrādāta, lai ņemtu vērā dažas pašreizējās kredītpunktu problēmas, tostarp rasu, dzimuma un citas iespējamās novirzes.

Lai saprastu, kā tas darbojas... mums vispirms ir nepieciešams neliels konteksts. ASV aizdevējiem (izņemot hipotēku aizdevējiem) ir aizliegts vākt datus par rasi. Tas sākotnēji bija paredzēts novērst diskriminācija.

Bet cilvēka rasei ir cieša korelācija ar viņa vārdu... kur viņi dzīvo... kur viņi gāja skolā... un cik viņiem maksā. Tas nozīmē... pat bez sacīkšu datiem... mašīnmācīšanās algoritms jebkurā gadījumā var iemācīties diskriminēt... vienkārši tāpēc, ka tas ir iestrādāts.

Tāpēc aizdevēji cenšas to pārbaudīt un izskaust diskrimināciju savos kreditēšanas modeļos. Vienīgā problēma? Lai pārbaudītu, kā jums klājas, jums ir jāzina aizņēmēju rase… bez tā… aizdevēji ir spiesti izdarīt saprātīgus minējumus.

No Vere: Tāpēc pieņemtā pieeja ir akronīms BISG, un tajā pamatā tiek izmantoti divi mainīgie, jūsu pasta indekss un jūsu uzvārds. Un tāpēc mani sauc Maiks De Vere un Kalifornijas daļa, no kuras es esmu, ar tādu vārdu es iznāktu kā spāņu vai latīņu X, bet tomēr es esmu īrs.

Dženifera: Citiem vārdiem sakot... nozares standarts, kā to izdarīt, bieži vien ir nepareizs. Tāpēc viņa uzņēmums izmanto citu pieeju.

No Vere: Mēs uzskatām, ka tam var būt 2.0 versija — izmantojot mašīnmācīšanos.

Dženifera: Tā vietā, lai prognozētu rasi, pamatojoties tikai uz diviem mainīgajiem lielumiem, tiek izmantots daudz vairāk, piemēram, personas vārds un otrais vārds... un citi ģeogrāfiskie dati, piemēram, viņu skaitīšanas trakts... vai skolas padomes rajons.

Viņš saka, ka nesenā pārbaudē Floridā šī metode par 60 procentiem pārspēja standarta modeli.

No Vere: Kāpēc tam ir nozīme? Tam ir nozīme, jo tas ir jūsu nūja, kas nosaka, kā jums veicas.

Dženifera: Pēc tam viņš izmanto pieeju, ko sauc par pretrunīgu attieksmi.

Pamatideja ir šis . Uzņēmums sāk ar vienu mašīnmācīšanās modeli, kas ir apmācīts, lai prognozētu, cik riskants ir konkrētais aizņēmējs.

No Vere: Pieņemsim, ka tajā ir 300–500 datu punkti, lai noteiktu risku indivīdam.

Dženifera: Pēc tam tajā ir a otrais mašīnmācīšanās modelis, kas mēģina uzminēt šī aizņēmēja rasi… (pamatojoties uz pirmā rasi).

Ja otrā modeļa prognozes sakrīt ar sacensību prognozētāja rezultātiem... viņš saka, tas nozīmē, ka sistēma kodē neobjektivitāti... un tā ir jāpielāgo... pielāgojot, cik daudz tas sver katru datu punktu.

No Vere: Tātad šos 300 līdz 500 signālus mēs varam noregulēt vai noregulēt, ja tas kļūst par sacensību starpniekserveri. Tādējādi jūs iegūstat ne tikai jaudīgu modeli, kas nodrošina labu ekonomiku, bet tajā pašā laikā jums ir modelis, kas šajā procesā ir gandrīz daltoniķis.

Dženifera: Viņš saka, ka tas ir novedis pie iekļaujošākas kreditēšanas prakses.

No Vere: Mēs sadarbojamies ar vienu no lielākajām krājaizdevu sabiedrībām ASV ārpus Floridas. Un tāpēc tas, ko tas nozīmē mūsu krājaizdevu sabiedrībai, ir vairāk “jā” lielākam skaitam tās biedru. Bet tas, par ko viņi bija patiesi sajūsmā, ir par 26% palielināts sieviešu skaits. Krāsu pārstāvjiem apstiprināts apstiprinājums par divdesmit pieciem procentiem.

Dženifera: Lai gan tas ir iepriecinoši... Ikvienam, kurš apgalvo, ka ir labojis gadu desmitiem ilgušo kaitējumu, ko radījusi algoritmiska lēmumu pieņemšana..., būs daudz kas jāpārvar, lai iegūtu cilvēku uzticību.

Tas ir vēl grūtāks uzdevums, ja ierosinātais labojums sliktajam algoritmam... ir cits algoritms.

Valsts kases departaments nesen izdeva norādījumus, uzsverot AI kredīta parakstīšanas izmantošanu kā galveno risku banku darbībai… brīdinot par izmaksām, kas saistītas ar to nepārskatāmo raksturu… un pievienojot piezīmi, ka, citāts, bankas vadībai ir jāspēj izskaidrot un aizstāvēt parakstīšanas un modelēšanas lēmumus.

Kas… pat ar viscaurspīdīgākajiem rīkiem… joprojām šķiet liels pasūtījums.

Un bez mūsdienīga regulējuma nav arī skaidrs, kurš uzrauga šos kredītpunktu uzraugus… un kurš izlemj, vai tādas lietas kā tālruņa dati vai informācija no sociālajiem medijiem ir godīga spēle?

Jo īpaši, ja gala rezultātus turpina izmantot ar kredītu nesaistītiem mērķiem, piemēram, nodarbinātībai vai apdrošināšanai.

[KREDĪTI]

Šo sēriju producēju es, Kārena Hao, Emma Cillekens un Entonijs Grīns. Mūs rediģē Maikls Reilijs.

Paldies, ka klausījāties, es esmu Dženifera Stronga.

[TECH PĀRSKATS ID]

paslēpties