Auditori pārbauda darbā pieņemšanas algoritmus, lai noteiktu neobjektivitāti, taču to nav viegli novērst

AI auditos var neņemt vērā noteikta veida novirzes, un tās ne vienmēr pārbauda, ​​vai darbā pieņemšanas rīks atlasa labākos kandidātus darbam.

Simons Simards

autors

• Hilke Šelmane arhīva lapa

2021. gada 11. februāris

Esmu mājās un spēlē videospēli datorā. Mans uzdevums ir piepumpēt pa vienam balonam un nopelnīt pēc iespējas vairāk naudas. Katru reizi, kad noklikšķinu uz Pump, balons izplešas un es saņemu piecus virtuālos centus. Bet, ja balons izlec, pirms es nospiežu Collect, visi mani digitālie ieņēmumi pazūd.

Pēc 39 balonu piepildīšanas esmu nopelnījis 14,40 USD. Ekrānā tiek parādīts ziņojums: Jūs ievērojat konsekventu pieeju augsta riska situācijās. Izmērītā iezīme: risks.

Šī spēle ir viena no sērijām, ko izveidojis uzņēmums Pymetrics, ko daudzi lieli ASV uzņēmumi nolīgst, lai pārbaudītu darba pretendentus. Ja piesakāties McDonald’s, Boston Consulting Group, Kraft Heinz vai Colgate-Palmolive, iespējams, jums tiks lūgts spēlēt Pymetrics spēles.

Kamēr es spēlēju, mākslīgā intelekta sistēma mēra tādas īpašības kā augstsirdība, godīgums un uzmanība. Ja es tiešām pieteiktos šim amatam, sistēma salīdzinātu manus rezultātus ar to darbinieku rādītājiem, kuri jau strādā šajā darbā. Ja mans personības profils atspoguļotu iezīmes, kas visvairāk raksturīgas cilvēkiem, kuri veiksmīgi pilda šo lomu, es pārietu uz nākamo darbā pieņemšanas posmu.

Arvien vairāk uzņēmumu izmanto tādus uz mākslīgo intelektu balstītus darbā pieņemšanas rīkus kā šie, lai pārvaldītu saņemto pieteikumu plūdus, jo īpaši tagad, kad ASV ir aptuveni divreiz vairāk bezdarbnieku nekā pirms pandēmijas. Aptauja Aktīvu pārvaldības uzņēmums Mercer no vairāk nekā 7300 cilvēkresursu vadītājiem visā pasaulē atklāja, ka to daļa, kas teica, ka viņu nodaļa izmanto prognozējošo analīzi, pieauga no 10% 2016. gadā līdz 39% 2020. gadā.

Pymetrics pamatprodukta fotoattēli — 12 uz AI balstītu spēļu komplekts, kas, pēc uzņēmuma domām, var noteikt darba pretendenta sociālās, kognitīvās un emocionālās īpašības.

PIMETRIKAS

Tomēr, tāpat kā ar citām AI lietojumprogrammām, pētnieki ir atklājuši, ka daži darbā pieņemšanas rīki ražo tendenciozi rezultāti — piemēram, neapzināti dodot priekšroku vīriešiem vai cilvēkiem no noteiktas sociālekonomiskās vides. Tagad daudzi iestājas par lielāku pārredzamību un lielāku regulējumu. Atkal un atkal tiek piedāvāts viens risinājums: AI audits.

Pagājušajā gadā Pymetrics samaksāja Ziemeļaustrumu universitātes datorzinātnieku komandai, lai tā pārbaudītu tās darbā pieņemšanas algoritmu. Tā bija viena no pirmajām reizēm, kad šāds uzņēmums bija pieprasījis trešās puses auditu savam rīkam. Izpilddirektore Frīda Polli man teica, ka viņa domā, ka šī pieredze varētu būt paraugs, lai nodrošinātu atbilstību ierosinātajam likumam, kas pieprasa šādas revīzijas uzņēmumiem Ņujorkā, kur atrodas Pymetrics.

Pymetrics tirgo savu programmatūru kā pilnīgi bez aizspriedumiem.

Tas, ko dara Pymetrics, kas piesaista neitrālu trešo personu revīzijas veikšanai, ir patiešām labs virziens, kurā virzīties, saka Polīna Kima, tiesību profesore no Vašingtonas universitātes Sentluisā, kurai ir pieredze darba tiesību un mākslīgo tiesību jomā. inteliģence. Ja viņi var panākt, lai nozare kļūtu pārredzamāka, tas ir patiešām pozitīvs solis uz priekšu.

Tomēr, neskatoties uz visu uzmanību, ko AI auditi ir saņēmuši, to spēja faktiski atklāt un aizsargāt pret neobjektivitāti joprojām nav pierādīta. Termins AI audits var apzīmēt daudzas dažādas lietas, tāpēc ir grūti uzticēties auditu rezultātiem kopumā. Visstingrākās revīzijas joprojām var būt ierobežotas. Un pat tad, ja ir neierobežota piekļuve algoritma būtībai, var būt pārsteidzoši grūti droši pateikt, vai tas izturas godīgi pret pretendentiem. Labākajā gadījumā revīzijas sniedz nepilnīgu priekšstatu, un sliktākajā gadījumā tās var palīdzēt uzņēmumiem slēpt problemātiskas vai strīdīgas darbības aiz revidenta apstiprinājuma zīmoga.

AI audita iekšienē

Mūsdienās jau tiek izmantoti daudzi AI nolīgšanas rīki. Tie ietver programmatūru, kas analizē kandidāta sejas izteiksmes, toni un valodu video interviju laikā, kā arī programmas, kas skenē CV, prognozē personību vai izmeklē pretendenta darbību sociālajos medijos.

Neatkarīgi no tā, kādu rīku viņi pārdod, AI nomas pārdevēji parasti sola, ka šīs tehnoloģijas atradīs labāk kvalificētus un daudzveidīgākus kandidātus par zemākām izmaksām un īsākā laikā nekā tradicionālās personāla nodaļas. Tomēr ir ļoti maz pierādījumu, ka viņi to dara, un jebkurā gadījumā tas nav tas, ko pārbaudīja Pymetrics algoritma AI audits. Tā vietā tā mērķis bija noteikt, vai konkrēts darbā pieņemšanas rīks rupji diskriminē kandidātus rases vai dzimuma dēļ.

Christo Wilson no Northeastern jau iepriekš bija rūpīgi pārbaudījis algoritmus, tostarp tos veicināt Uber pieaugošās cenas un Google meklētājprogrammu . Bet līdz brīdim, kad Pymetrics piezvanīja, viņš nekad nebija tieši strādājis ar uzņēmumu, kuru viņš izmeklēja.

Vilsona komanda, kurā bija viņa kolēģis Alans Mislovs un divi maģistranti, paļāvās uz Pymetrics datiem un tai bija piekļuve uzņēmuma datu zinātniekiem. Revidenti bija redakcionāli neatkarīgi, taču piekrita informēt Pymetrics par jebkādiem negatīviem konstatējumiem pirms publicēšanas. Uzņēmums maksāja ziemeļaustrumiem USD 104 465, izmantojot dotācija , tostarp USD 64 813, kas tika novirzīti Vilsona un viņa komandas algām.

Saistīts stāsts

Dziļi viltota pornogrāfija sabojā sieviešu dzīves. Tagad likums to beidzot var aizliegt.

Pēc gadiem ilgiem aktīvistiem, kuri cīnījās, lai aizsargātu uz tēliem balstītas seksuālās vardarbības upurus, dziļi viltojumi beidzot liek likumdevējiem pievērst uzmanību.

Pymetrics pamatprodukts ir 12 spēļu komplekts, kas, kā teikts, galvenokārt ir balstīts uz kognitīvās zinātnes eksperimenti . Spēles nav paredzētas, lai tās uzvarētu vai zaudētu; tie ir izstrādāti, lai noteiktu pretendenta kognitīvās, sociālās un emocionālās īpašības, tostarp riska toleranci un mācīšanās spējas. Pymetrics tirgo savu programmatūru kā pilnīgi bez aizspriedumiem . Pymetrics un Vilsons nolēma, ka auditori koncentrēsies tikai uz vienu konkrētu jautājumu: vai uzņēmuma modeļi ir godīgi?

Viņi pamatoja godīguma definīciju uz to, ko sarunvalodā sauc par četru piektdaļu likumu, kas ir kļuvis par neoficiālu darbā pieņemšanas standartu Amerikas Savienotajās Valstīs. Izlaidusi Vienlīdzīgu nodarbinātības iespēju komisija (EEOC). vadlīnijas 1978. gadā nosakot, ka darbā pieņemšanas procedūrās ir jāizvēlas aptuveni vienāda vīriešu un sieviešu un dažādu rasu grupu cilvēku proporcija. Saskaņā ar četru piektdaļu noteikumu, Kima skaidro, ja vīrieši 100% laika pāriet uz nākamo soli darbā pieņemšanas procesā, sievietēm ir jānokārto vismaz 80% laika.

Ja uzņēmuma darbā pieņemšanas rīki pārkāpj četru piektdaļu noteikumu, EEOC varētu rūpīgāk izpētīt savu praksi. Darba devējam tā nav slikta pārbaude, saka Kima. Ja darba devēji pārliecinās, ka šie rīki nav rupji diskriminējoši, viņi, visticamāk, nepievērsīs federālo regulatoru uzmanību.

Lai noskaidrotu, vai Pymetrics programmatūra notīra šo joslu, Ziemeļaustrumu komandai vispirms bija jāmēģina saprast, kā rīks darbojas.

Kad jauns klients reģistrējas pakalpojumā Pymetrics, tam ir jāatlasa vismaz 50 darbinieki, kuri ir veiksmīgi pildījuši lomu, kuru tas vēlas aizpildīt. Šie darbinieki spēlē Pymetrics spēles, lai ģenerētu apmācību datus. Pēc tam Pymetrics sistēma salīdzina datus no šiem 50 darbiniekiem ar spēļu datiem no vairāk nekā 10 000 cilvēku, kas nejauši atlasīti no vairāk nekā diviem miljoniem. Pēc tam sistēma izveido modeli, kas identificē un sarindo klienta veiksmīgajiem darbiniekiem raksturīgākās prasmes.

Lai pārbaudītu neobjektivitāti, Pymetrics izmanto šo modeli, salīdzinot ar citu datu kopu, kurā ir aptuveni 12 000 personu (nejauši atlasīti no vairāk nekā 500 000), kuri ir ne tikai spēlējuši spēles, bet arī atklājuši savus demogrāfiskos datus aptaujā. Ideja ir noteikt, vai modelis izturētu četru piektdaļu pārbaudi, ja tas novērtētu šos 12 000 cilvēku.

Ja sistēma konstatē neobjektivitāti, tā izveido un pārbauda vairāk modeļu, līdz tiek atrasts tāds, kas gan prognozē panākumus, gan rada aptuveni vienādus nokārtošanas rādītājus vīriešiem un sievietēm, kā arī visu rasu grupu pārstāvjiem. Teorētiski pat tad, ja lielākā daļa klienta veiksmīgo darbinieku ir baltie vīrieši, Pymetrics var labot neobjektivitāti, salīdzinot šo vīriešu spēļu datus ar datiem no sievietēm un cilvēkiem no citām rasu grupām. Tas meklē datu punktus, kas paredz pazīmes, kas nav saistītas ar rasi vai dzimumu, bet atšķir veiksmīgus darbiniekus.

Kristo Vilsons no Ziemeļaustrumu universitātes

SIMONS SIMARDS

Vilsons un viņa auditoru komanda vēlējās noskaidrot, vai Pymetrics pretobjektivitātes mehānisms patiešām novērš neobjektivitāti un vai to var maldināt. Lai to izdarītu, viņi pamatā mēģināja izspēlēt sistēmu, piemēram, vairākas reizes dublējot spēles datus no viena un tā paša baltā cilvēka un mēģinot tos izmantot modeļa izveidošanai. Rezultāts vienmēr bija viens un tas pats: veids, kā viņu kods ir izkārtots un kā datu zinātnieki izmanto šo rīku, nebija acīmredzama veida, kā viņus piemānīt, lai viņi radītu kaut ko neobjektīvu un to notīrītu, saka Vilsons.

Pagājušā gada rudenī auditori dalījās savos secinājumos ar uzņēmumu: Pymetrics sistēma atbilst četru piektdaļu noteikumam. Ziemeļaustrumu komanda nesen publicēja pētījums algoritmu tiešsaistē un prezentēs ziņojumu par darbu martā algoritmiskās atbildības konferencē FAccT.

Lielais rezultāts ir tas, ka Pymetrics patiešām dara patiešām labu darbu, saka Vilsons.

Nepilnīgs risinājums

Taču, lai gan Pymetrics programmatūra atbilst četru piektdaļu noteikumam, audits nepierādīja, ka rīks ir brīvs no jebkādas novirzes, kā arī tas, ka tas faktiski atlasa viskvalificētākos kandidātus jebkuram darbam.

Likās, ka jautājums, kas tika uzdots vairāk, bija 'Vai Pymetrics dara to, ko viņi saka?', nevis 'Vai viņi dara pareizi vai pareizi?' saka Manišs Ragavans, Kornela universitātes datorzinātņu doktorants. ir daudz publicējis par mākslīgo intelektu un darbā pieņemšanu.

Likās, ka uzdotais jautājums vairāk bija “Vai Pymetrics dara to, ko viņi saka?”, nevis “Vai viņi dara pareizi vai pareizi?”

Piemēram, četru piektdaļu noteikums paredz, ka cilvēkiem no dažāda dzimuma un rasu grupām ir jāpāriet uz nākamo darbā pieņemšanas procesa kārtu ar aptuveni vienādām likmēm. AI darbā pieņemšanas rīks varētu apmierināt šo prasību un joprojām ir ļoti nekonsekvents, prognozējot, cik labi cilvēki no dažādām grupām faktiski veiksies darbā, kad viņi ir pieņemti darbā. Un, ja, piemēram, rīks precīzāk prognozē panākumus vīriešiem nekā sievietēm, tas nozīmētu, ka tas faktiski nenosaka vislabāk kvalificētās sievietes, tāpēc darbā pieņemtās sievietes var nebūt tik veiksmīgas darbā, saka Kima.

Vēl viena problēma, ko nerisina ne četru piektdaļu noteikums, ne Pymetrics audits, ir krustošanās. Noteikums salīdzina vīriešus ar sievietēm un vienu rasu grupu ar citu, lai noskaidrotu, vai viņi iztur vienādi, taču tas nesalīdzina, piemēram, baltos vīriešus ar aziātu vīriešiem vai melnādainajām sievietēm. Jums varētu būt kaut kas tāds, kas atbilst četru piektdaļu noteikumam vīriešiem pret sievietēm, melnādainajiem pret baltajiem, taču tas varētu slēpt aizspriedumus pret melnādainajām sievietēm, saka Kima.

Pymetrics nav vienīgais uzņēmums, kura AI ir pārbaudīts. HireVue, vēl viens liels AI nomas programmatūras pārdevējs, lika uzņēmumam O’Neil Risk Consulting and Algorithmic Auditing (ORCAA) novērtēt vienu no saviem algoritmiem. Šī firma pieder Ketijai O'Nīlai, datu zinātniecei un autorei Matemātikas iznīcināšanas ieroči, viena no vispopulārākajām grāmatām par AI aizspriedumiem, kas gadiem ilgi ir iestājusies par AI auditu.

ORCAA un HireVue savā auditā koncentrējās uz vienu produktu: HireVue darbā pieņemšanas novērtējumiem, ko daudzi uzņēmumi izmanto, lai novērtētu nesen koledžas absolventus. Šajā gadījumā ORCAA nenovērtēja paša instrumenta tehnisko dizainu. Tā vietā uzņēmums intervēja ieinteresētās personas (tostarp darba pretendentu, AI ētiku un vairākas bezpeļņas organizācijas) par iespējamām problēmām ar rīkiem un sniedza HireVue ieteikumus to uzlabošanai. Galīgais ziņojums ir publicēts HireVue vietnē, taču to var izlasīt tikai pēc neizpaušanas līguma parakstīšanas.

Alekss Englers, Brūkingsas institūta līdzstrādnieks, kurš ir pētījis mākslīgā intelekta darbā pieņemšanas rīkus un pārzina abus auditus, uzskata, ka Pymetrics ir labāka: iespējotās analīzes dziļumā ir liela atšķirība, viņš saka. Taču atkal neviena no revīzijām nerunāja par to, vai produkti patiešām palīdz uzņēmumiem izdarīt labākas izvēles darbā. Un abus finansēja revidējamie uzņēmumi, kas rada nelielu risku, ka auditoru ietekmēs fakts, ka šis ir klients, saka Kims.

Šo iemeslu dēļ kritiķi saka, ka ar brīvprātīgām revīzijām nepietiek. Datu zinātnieki un pārskatatbildības eksperti tagad cenšas panākt plašāku AI nolīgšanas rīku regulējumu, kā arī to auditēšanas standartus.

Iztrūkumu aizpildīšana

Daži no šiem pasākumiem sāk parādīties ASV. 2019. gadā senatori Korijs Bukers un Rons Vaidens, kā arī pārstāve Iveta Klārka iepazīstināja ar Algoritmiskās atbildības likums noteikt, ka neobjektivitātes audits ir obligāts visiem lielajiem uzņēmumiem, kas izmanto AI, lai gan likumprojekts nav ratificēts.

Tikmēr valsts līmenī notiek zināma kustība. The AI video intervijas likums Ilinoisā, kas stājās spēkā 2020. gada janvārī, uzņēmumiem ir jāpaziņo kandidātiem, kad tie izmanto AI video intervijās. Arī pilsētas rīkojas — Losandželosā to ierosināja pilsētas domes loceklis Džo Buskaino godīga pieņemšana darbā automatizētajām sistēmām novembrī.

The Ņujorkas rēķins jo īpaši varētu kalpot par paraugu pilsētām un štatiem visā valstī. Tas padarītu ikgadējas revīzijas obligātas automatizēto darbā pieņemšanas rīku pārdevējiem. Tas arī prasītu uzņēmumiem, kas izmanto rīkus, lai paziņotu pretendentiem, kādus raksturlielumus viņu sistēma izmantoja, lai pieņemtu lēmumu.

Taču jautājums par to, kā patiesībā izskatītos šīs ikgadējās revīzijas, paliek atklāts. Daudzi eksperti uzskata, ka Pymetrics veiktais audits nebūtu ļoti tālu, lai noteiktu, vai šīs sistēmas ir diskriminējošas, jo šajā auditā netika pārbaudīta krustošanās un netika novērtēta rīka spēja precīzi izmērīt pazīmes, kuras tas apgalvo. dažādu rasu un dzimumu cilvēki.

Un daudzi kritiķi vēlētos, lai revīziju veiktu valdība, nevis privātie uzņēmumi, lai izvairītos no interešu konflikta. Ir jābūt preventīvam regulējumam, lai, pirms izmantojat kādu no šīm sistēmām, Vienlīdzīgu nodarbinātības iespēju komisijai tas būtu jāpārskata un pēc tam jālicencē, saka Franks Paskvāls, Bruklinas Juridiskās skolas profesors un algoritmiskās atbildības eksperts. Viņam ir prātā iepriekšējas apstiprināšanas process algoritmiskiem darbā pieņemšanas rīkiem, kas ir līdzīgi tam, ko Pārtikas un zāļu pārvalde izmanto ar zālēm.

Līdz šim EEOC pat nav izdevusi skaidras vadlīnijas par jau izmantotajiem darbā pieņemšanas algoritmiem. Taču lietas drīzumā var sākt mainīties. Decembrī, 10 senatori nosūtīja vēstuli EEOC, jautājot, vai tai ir pilnvaras uzsākt AI darbā pieņemšanas sistēmu kontroli, lai novērstu ādas krāsas cilvēku diskrimināciju, kurus pandēmijas laikā jau ir nesamērīgi skārusi darba zaudēšana.