211service.com
Ir vienkāršs veids, kā padarīt aizdevumus sievietēm godīgāku. Problēma ir tā, ka tas ir nelikumīgi.
Kredīta rādītāji ir pārklāti ar vīriešu un sieviešu simboliem. Selmana dizains
Šīs nedēļas sākumā Ņujorkas Finanšu pakalpojumu departaments sāka izmeklēšanu Goldman Sachs par iespējamu kredītu diskrimināciju dzimuma dēļ. Izmeklēšana tika uzsākta pēc tam, kad tīmekļa uzņēmējs Deivids Heinemeiers Hanssons tviterī ierakstīja, ka ar Apple Card, kuru pārvalda Goldmens, viņam 20 reizes piešķīris kredītlimitu, kas attiecināts uz viņa sievu, lai gan abi iesniedza kopīgas nodokļu deklarācijas un viņai bija labāks kredītreitings.
The @AppleCard ir tik sasodīti seksistiska programma. Mēs ar sievu iesniedzām kopīgas nodokļu deklarācijas, dzīvojam kopienas štatā un esam ilgu laiku precējušies. Tomēr Apple melnās kastes algoritms uzskata, ka esmu pelnījis 20 reizes lielāku kredītlimitu nekā viņa. Apelācijas nedarbojas.
- DHH (@dhh) 2019. gada 7. novembris
Atbildot uz to, Goldman publicēja paziņojumu, kurā teikts, ka, nosakot kredītspēju, nav ņemts vērā dzimums. Loģika, visticamāk, bija paredzēta kā aizsardzība — kā jūs varat diskriminēt sievietes, ja jūs pat nezināt, ka kāds ir sieviete? Bet patiesībā problēma ir tieši dzimuma neņemšana vērā. Algoritmiskā godīguma pētījumi iepriekš ir parādījuši, ka dzimuma apsvēršana patiešām palīdz mazināt dzimuma aizspriedumi. Ironiski, bet tas ASV ir nelikumīgs.
Pašlaik provizoriskie rezultāti no notiekošā pētījuma, ko finansē ANO fonds un Pasaules Banka, atkal apšauba dzimuma aklu kredītu izsniegšanas godīgumu. Pētījumā konstatēts, ka, izveidojot pilnīgi atsevišķus kredītspējas modeļus vīriešiem un sievietēm, lielākajai daļai sieviešu tika piešķirti vairāk kredītu.
Tātad: vai likums ir jāaktualizē?
Seksisms būt aklam attiecībā uz dzimumu
Ja jūs nevēlaties diskriminēt pēc dzimuma, kāpēc gan vienkārši neizņemt dzimumu no vienādojuma? Tas bija priekšnoteikums Vienlīdzīgu kreditēšanas iespēju likums (ECOA), kas tika pieņemta ASV 1974. gadā, laikā, kad sievietēm regulāri tika liegts kredīts. Tas padarīja nelikumīgu jebkura kreditora diskrimināciju dzimuma dēļ vai dzimuma ņemšanu vērā, novērtējot kredītspēju. (1976. gadā tas tika atjaunināts, lai aizliegtu diskrimināciju pēc rases, nacionālās izcelsmes un citām pazīmēm, ko aizsargā federālā valdība.)
Bet mašīnmācībā dzimuma aklums var būt problēma. Pat ja dzimums nav norādīts, to var viegli secināt no citiem mainīgajiem, kas ar to ļoti korelē. Rezultātā modeļi, kas izstrādāti, pamatojoties uz vēsturiskiem datiem, kas atņemti no dzimuma, joprojām pastiprina pagātnes nevienlīdzību. Tas pats attiecas uz rasi un citām īpašībām. Tas, visticamāk, notika Apple Card lietā: tā kā sievietēm vēsturiski tika piešķirts mazāk kredītu, algoritms iemācījās saglabāt šo modeli.
In 2018. gada pētījums Datorzinātnieku un ekonomistu sadarbība atklāja, ka labākais veids, kā mazināt šīs problēmas, patiesībā ir modelī atkārtoti iekļaut tādas pazīmes kā dzimums un rase. Tādējādi tiek nodrošināta lielāka kontrole, lai izmērītu un mainītu jebkādas acīmredzamas novirzes, tādējādi kopumā nodrošinot lielāku taisnīgumu.
Kredītu izsniegšana atkarībā no dzimuma
Jaunākajā pētījumā tiek pārbaudīta jauna hipotēze: vai atsevišķi modeļi vīriešiem un sievietēm vēl vairāk samazinātu dzimumu aizspriedumus? Otrdien ANO fonda rīkotajā pasākumā Šons Higinss, Ziemeļrietumu universitātes docents un pētījuma pētnieks, iepazīstināja ar provizoriskiem atklājumiem, kas liecina, ka tā būtu.
Sadarbībā ar Dominikānas Republikas komercbanku pētnieki veica divas atsevišķas analīzes, kurās piedalījās 20 000 cilvēku ar zemiem ienākumiem, no kuriem puse bija sievietes. Pirmajā analīzē pētnieki izmantoja indivīdu aizdevumu atmaksas vēsturi un dzimumu, lai apmācītu vienu mašīnmācības modeli kredītspējas prognozēšanai. Otrajā analīzē pētnieki apmācīja modeli, izmantojot tikai sieviešu aizdevuma atmaksas datus. Viņi atklāja, ka 93% sieviešu šajā modelī ieguva lielāku atzinību nekā tajā, kurā tika sajaukti vīrieši un sievietes.
Tas notiek, saka Higinss, jo sievietēm un vīriešiem ir atšķirīga kredītvēsture un atšķirīga aizdevuma atmaksas uzvedība — gan vēsturisku, gan kultūras vai citu iemeslu dēļ. Piemēram, sievietes, visticamāk, atmaksās savus aizdevumus, viņš saka. Taču šīs atšķirības nav ņemtas vērā kombinētajā modelī, kas mācās prognozēt kredītspēju, pamatojoties uz vidējiem rādītājiem sievietēm un vīriešiem. Līdz ar to šādi modeļi par zemu paredz iespēju, ka sievietes atmaksās savus aizdevumus un galu galā piešķirs viņām mazāk kredītu, nekā viņas ir pelnījušas.
Lai gan Higinss un viņa līdzstrādnieki pārbaudīja šo hipotēzi īpaši sievietēm ar zemiem ienākumiem Dominikānas Republikā, kvalitatīvajiem rezultātiem vajadzētu būt patiesiem neatkarīgi no konteksta. Tie būtu jāattiecina arī uz pazīmēm, kas nav dzimums, un jomās, kas nav finanses.
Ko darīt ar likumu
Problēma ir tāda, ka šāda veida viena dzimuma modelis ir nelikumīgs. Jautājums ir par to, vai politikas veidotājiem tāpēc būtu jāatjaunina ECOA.
Higinss ir par. Viņš saka, ka jaunākie pētījumi par algoritmu godīgumu ir nonākuši pie diezgan skaidra secinājuma, ka mums algoritmos vajadzētu izmantot tādas lietas kā rase un dzimums. Ja bankām nav piekļuves šiem mainīgajiem lielumiem un tās pat nevar veikt drošības pārbaudes, lai pārliecinātos, ka to algoritmi nav neobjektīvi, vienīgais veids, kā mēs varam uzzināt par šīm novirzēm, ir tad, kad cilvēki tviterī par atšķirībām, ko viņi sastopams savvaļā.
Taču Endrjū Selbsts, UCLA jurisprudences profesora asistents, kurš specializējas mākslīgā intelekta un tiesību krustpunktā, brīdina, ka nedrīkst pārvietoties pārāk ātri. Likuma pārrakstīšana šādā veidā paver iespējas sliktajiem aktieriem sākt iekļaut rases un dzimuma mainīgos lielumus un veikt mežonīgu diskrimināciju tādā veidā, ko ir ļoti grūti kontrolēt, viņš saka. Viņš arī uztraucas, ka šis risinājums neņems vērā nebināros vai transpersonas un netīši nodarīs viņiem kaitējumu.
Lai vairāk šādu stāstu tiktu piegādāts tieši jūsu iesūtnē, reģistrējieties mūsu Webby nominētajam AI informatīvajam izdevumam The Algorithm. Tas ir par brīvu.