Jauna pētījuma mērķis ir atrisināt AI novirzes problēmu melnās kastes algoritmos

Siobhans Galahers

No krājumu vākšanas līdz rentgenstaru izpētei mākslīgais intelekts arvien vairāk tiek izmantots, lai pieņemtu lēmumus, kas agrāk bija cilvēku ziņā. Taču mākslīgais intelekts ir tikai tik labi, cik labi ir iegūtie dati, un daudzos gadījumos mēs galu galā pārvēršam savus pārāk cilvēciskos aizspriedumus par algoritmiem, kas var būtiski ietekmēt cilvēku dzīvi.

Iekšā jauns dokuments, kas publicēts arXiv , pētnieki apgalvo, ka viņi, iespējams, ir izdomājuši veidu, kā mazināt problēmu ar algoritmiem, kurus ir grūti pārbaudīt nepiederošām personām — tā dēvētajām melnās kastes sistēmām.

Īpaši satraucoša joma, kurā var parādīties neobjektivitāte, ir riska novērtējuma modelēšana, kas var noteikt, piemēram, personas iespējas saņemt drošības naudu vai apstiprināt aizdevumu. Parasti šādos gadījumos ir nelikumīgi ņemt vērā tādus faktorus kā rase, taču algoritmi var iemācīties atpazīt un izmantot faktu, ka personas izglītības līmenis vai mājas adrese var būt saistīta ar citu demogrāfisko informāciju, kas var efektīvi piesātināt viņu ar rasu un citiem aizspriedumiem.

Šo problēmu padara vēl sarežģītāku tas, ka daudzi AI, kas tiek izmantoti šo izvēli, ir melnās kastes — vai nu tās ir pārāk sarežģītas, lai tās viegli saprastu, vai arī tās ir patentēti algoritmi, kurus uzņēmumi atsakās izskaidrot. Pētnieki ir strādājuši pie rīkiem, lai apskatītu notiekošo zem kapuces , taču problēma ir plaši izplatīta un pieaug (sk. Neobjektīvi algoritmi ir visur, un neviens, šķiet, nerūpējas).

Rakstā Sāra Tana (kura tajā laikā strādāja Microsoft) un kolēģi izmēģināja savu metodi, izmantojot divus melnās kastes riska novērtēšanas modeļus: vienu par aizdevumu riskiem un saistību nepildīšanas likmēm no peer-to-peer uzņēmuma LendingClub un otru no Northpointe. , uzņēmums, kas sniedz uz algoritmiem balstītus pakalpojumus tiesām visā valstī, prognozējot apsūdzēto recidīva risku.

Pētnieki izmantoja divvirzienu pieeju, lai noskaidrotu, kā darbojas šie potenciāli neobjektīvie algoritmi. Pirmkārt, viņi izveidoja modeli, kas atdarina pārbaudāmo melnās kastes algoritmu un rada riska rādītāju, pamatojoties uz sākotnējo datu kopu, tāpat kā to darītu LendingClub un Northpointe. Pēc tam viņi izveidoja otru modeli, ko viņi apmācīja uz reāliem rezultātiem, izmantojot to, lai noteiktu, kuri mainīgie no sākotnējās datu kopas bija svarīgi gala rezultātos.

LendingClub gadījumā pētnieki analizēja datus par vairākiem aizdevumiem ar termiņu no 2007. līdz 2011. gadam. LendingClub datu bāzē bija daudz dažādu jomu, taču pētnieki atklāja, ka uzņēmuma kreditēšanas modelī, iespējams, nav ņemti vērā gan pieteikuma iesniedzēja gada ienākumi, gan aizdevuma mērķis. . Ienākumus varētu būt jēga ignorēt, jo tie tiek reģistrēti paši un var tikt viltoti. Bet aizdevuma mērķis ir cieši saistīts ar risku — aizdevumi mazajiem uzņēmumiem ir daudz riskantāki nekā tie, ko izmanto, piemēram, kāzu apmaksai. Tātad LendingClub, šķiet, ignorēja svarīgu mainīgo.

Tikmēr Northpointe saka, ka tā COMPAS algoritms, sniedzot ieteikumus par sodu, neietver rasi kā mainīgo. Tomēr izmeklēšanā, ko veica ProPublica , žurnālisti apkopoja rasu informāciju par apsūdzētajiem, kuriem tika piespriests sods ar COMPAS palīdzību, un atrada pierādījumus par rasu aizspriedumiem. Savā atdarināšanas modelī pētnieki izmantoja ProPublica apkopotos datus, kā arī informāciju par apsūdzēto vecumu, dzimumu, apsūdzības pakāpi, iepriekšējo notiesājošo spriedumu skaitu un iepriekšējās uzturēšanās ilgumu cietumā. Metode saskanēja ar ProPublica atklājumiem, kas liecina, ka COMPAS, iespējams, bija neobjektīvs dažām vecuma un rasu grupām.

Kritiķi var norādīt, ka tās nav precīzas kopijas — nepieciešamības dēļ pētnieki izdarīja daudz saprātīgu minējumu. Bet, ja uzņēmums, kas izmanto algoritmu, nevēlas izpaust informāciju par to, kā tā sistēma darbojas, tuvināšanas modeļi, piemēram, šajā pētījumā izmantotie modeļi, ir saprātīgs veids, kā iegūt ieskatu, saka Masačūsetsas universitātes docents Brendans O'Konors. , Amhersts, kurš ir publicējis rakstu par neobjektivitāti dabiskās valodas apstrādē.

Mums ir jāapzinās, ka tas notiek, un nevajag tam aizvērt acis un rīkoties tā, it kā tas nenotiktu, saka O’Konors.

paslēpties