Mēs pārbaudījām AI intervijas rīkus. Lūk, ko mēs atradām.

Pēc vairāk nekā gadu ilga Covid-19 pandēmijas miljoniem cilvēku Amerikas Savienotajās Valstīs meklē darbu. Ar AI darbināma intervijas programmatūra apgalvo, ka tā palīdz darba devējiem izsijāt lietojumprogrammas, lai atrastu darbam piemērotākos cilvēkus. Par to ziņoja uzņēmumi, kas specializējas šajā tehnoloģijā biznesa uzplaukums pandēmijas laikā.

Bet, pieaugot pieprasījumam pēc šīm tehnoloģijām, pieaug arī pieprasījums jautājumi par to precizitāti un uzticamību . Jaunākajā MIT Technology Review Podcast epizodē In Machines We Trust mēs pārbaudījām programmatūru no diviem uzņēmumiem, kas specializējas AI darba intervijās, Mana Intervija un Interesanta lieta . Mēs atklājām atšķirības prognozēs un darba atbilstības rādītājos, kas rada bažas par to, ko tieši šie algoritmi novērtē.

Iepazīt tevi

MyInterview mēra iezīmes, kas ņemtas vērā Lielā piecinieka personības testā, kas ir psihometrisks novērtējums, ko bieži izmanto darbā pieņemšanas procesā. Šīs īpašības ietver atvērtību, apzinīgumu, ekstraversiju, patīkamību un emocionālo stabilitāti. Curious Thing mēra arī ar personību saistītas iezīmes, taču lielā piecinieka vietā kandidātus vērtē pēc citiem rādītājiem, piemēram, pazemības un noturības.

Šajā ekrānuzņēmumā ir parādīts mūsu kandidāta atbilstības rezultāts un personības analīze pakalpojumā MyInterview pēc tam, kad uz visiem intervijas jautājumiem ir atbildēts vācu, nevis angļu valodā.

HELKE ŠELMANN

Algoritmi analizē kandidātu atbildes, lai noteiktu personības iezīmes. MyInterview arī apkopo punktus, kas norāda, cik precīzi kandidāts atbilst īpašībām, ko nolīgušie vadītāji ir identificējuši kā ideālus šim amatam.

Lai pabeigtu pārbaudes, mēs vispirms iestatījām programmatūru. Mēs augšupielādējām viltotu darba sludinājumu biroja administratoram/pētniekam gan vietnē MyInterview, gan Curious Thing. Pēc tam mēs izveidojām savu ideālo kandidātu, izvēloties ar personību saistītas iezīmes, kad sistēma to pamudināja.

Vietnē MyInterview mēs atlasījām tādas īpašības kā uzmanība detaļām un sarindojām tās pēc svarīguma pakāpes. Mēs arī atlasījām intervijas jautājumus, kas tiek rādīti ekrānā, kamēr kandidāts ieraksta video atbildes. Vietnē Curious Thing mēs atlasījām tādas īpašības kā pazemība, pielāgošanās spēja un noturība.

Viens no mums, Hilke, pieteicās šim amatam un pabeidza intervijas par lomu gan programmā MyInterview, gan Curious Thing.

Mūsu kandidāts pabeidza telefona interviju ar Curious Thing. Vispirms viņa veica regulāru darba interviju un saņēma 8,5 no 9 par angļu valodas prasmi. Otrajā mēģinājumā automatizētā intervētāja uzdeva tos pašus jautājumus, un viņa atbildēja uz katru, lasot Wikipedia ierakstu par psihometriju vācu valodā.

Tomēr Curious Thing viņai piešķīra 6 no 9 par angļu valodas prasmi. Viņa pabeidza interviju vēlreiz un saņēma tādu pašu punktu skaitu.

Ekrānuzņēmums parāda mūsu kandidātes angļu valodas kompetences punktu skaitu Curious Thing programmatūrā pēc tam, kad viņa atbildēja uz visiem jautājumiem vācu valodā.

HELKE ŠELMANN

Mūsu kandidāts pievērsās MyInterview un atkārtoja eksperimentu. Viņa to pašu Vikipēdijas ierakstu skaļi izlasīja vācu valodā. Algoritms ne tikai atgrieza personības novērtējumu, bet arī paredzēja, ka mūsu kandidāte par 73% atbilst viltotajam darbam, ierindojot viņu starp visiem pretendentiem, kurus bijām lūguši pieteikties.

MyInterview nodrošina darbā pieņemšanas vadītājiem viņu interviju atšifrējumu. Pārbaudot mūsu kandidātes stenogrammu, mēs atklājām, ka sistēma viņas vācu vārdus interpretēja kā angļu vārdus. Bet stenogrammai nebija nekādas jēgas. Pirmās dažas rindiņas, kas atbilst iepriekš sniegtajai atbildei, skan:

|_+_|

Neatbilst

Tā vietā, lai novērtētu mūsu kandidāti pēc atbilžu satura, algoritms izvilka no viņas balss personības iezīmes, saka. Kleitons Donelijs , rūpniecības un organizāciju psihologs, kas strādā ar MyInterview.

Bet intonācija nav uzticams personības īpašību rādītājs, saka Freds Osvalds , rūpnieciskās organizāciju psiholoģijas profesors plkst Rīsu universitāte . Mēs patiešām nevaram izmantot intonāciju kā datus darbā, viņš saka. Tas vienkārši nešķiet godīgi, uzticami vai derīgi.

Atvērto jautājumu izmantošana personības iezīmju noteikšanai rada arī ievērojamas problēmas pat tad, ja šis process ir automatizēts. Tāpēc daudzi personības testi, piemēram, lielais piecinieks, sniedz cilvēkiem izvēles iespējas.

Būtība ir tāda, ka personību šajā bezgala nozīmē ir grūti izdalīt, saka Osvalds. Ir iespējas AI vai algoritmiem un veidu, kā tiek uzdoti jautājumi, būt strukturētākiem un standartizētākiem. Bet es nedomāju, ka mēs noteikti atrodamies datu ziņā, attiecībā uz dizainu, kas mums sniedz datus.

Curious Thing līdzdibinātājs un galvenais tehnoloģiju speciālists, Han Sju , atbildēja uz mūsu atklājumiem e-pastā, sakot: Šī ir pirmā reize, kad mūsu sistēma tiek testēta vācu valodā, tāpēc tas ir ārkārtīgi vērtīgs datu punkts, lai mēs varētu izpētīt un noskaidrot, vai tas kaut ko atklāj mūsu sistēmā.

Neobjektivitātes paradokss

Ar AI vadītu interviju veiktspēja bieži vien nav vienīgais rādītājs, ko potenciālie darba devēji izmanto, lai novērtētu kandidātu. Un šīs sistēmas faktiski var samazināt neobjektivitāti un atrast labākus kandidātus nekā cilvēku intervētāji. Taču daudzi no šiem rīkiem netiek pārbaudīti neatkarīgi, un uzņēmumi, kas tos izveidoja, nevēlas dalīties ar informāciju par to, kā viņi strādā, tāpēc kandidātiem vai darba devējiem ir grūti zināt, vai algoritmi ir precīzi un kādai ietekmei tiem vajadzētu būt darbā pieņemšanā. lēmumus.

Marks Grejs , kurš strādā Dānijas īpašumu pārvaldības platformā ar nosaukumu Pareizi , sāka izmantot AI video intervijas, pildot savu iepriekšējo cilvēkresursu amatu elektronikas uzņēmumā Airtame . Viņš saka, ka sākotnēji iekļāvis programmatūru, ko ražoja Vācijas uzņēmums Retorika , intervijās, lai palīdzētu mazināt cilvēku aizspriedumus, kas bieži rodas, kad darbā pieņemšanas vadītāji sarunājas ar kandidātiem.

Lai gan Grejs pieņem lēmumus par pieņemšanu darbā, nebalstās tikai uz Retorio novērtējumu, kas arī balstās uz Lielā piecinieka iezīmēm, viņš to ņem vērā kā vienu no daudzajiem datu punktiem, izvēloties kandidātus. Es nedomāju, ka tā ir sudraba lode, lai izdomātu, kā nolīgt īsto cilvēku, viņš saka.

Greja parastajā darbā pieņemšanas procesā ietilpst pārbaudes uzaicinājums un Retorio intervija, kurā viņš aicina piedalīties lielāko daļu kandidātu neatkarīgi no iespaida, ko viņi atstājuši pārbaudē. Veiksmīgie kandidāti pēc tam pāries uz darba prasmju pārbaudi, kam sekos tiešraides intervija ar citiem komandas locekļiem.

Saistīts stāsts

LinkedIn darba atbilstības AI bija neobjektīva. Uzņēmuma risinājums? Vairāk AI.

ZipRecruiter, CareerBuilder, LinkedIn — lielākā daļa pasaules lielāko darba meklēšanas vietņu izmanto AI, lai atrastu cilvēkus ar darba piedāvājumiem. Taču algoritmi ne vienmēr darbojas godīgi.

Ar laiku tādi produkti kā Retorio un pats Retorio — tas būtu jāizmanto katram uzņēmumam, jo ​​tas sniedz jums tik daudz ieskatu, saka Grejs. Lai gan AI jomā kopumā ir dažas jautājuma zīmes un pretrunas, es domāju, ka lielāks jautājums ir par to, vai mēs esam labāki vai sliktāki rakstura vērtētāji?

Grejs atzīst kritiku par AI intervēšanas rīkiem. An izmeklēšana februārī publicēja Bavarian Public Broadcasting atklāja, ka Retorio algoritms kandidātus novērtēja atšķirīgi, ja viņi intervijas laikā izmantoja dažādus video fonus un aksesuārus, piemēram, brilles.

Retorio līdzdibinātājs un rīkotājdirektors, Kristofers Hohenbergers , saka, ka, lai gan viņš nav informēts par žurnālistu testēšanas metožu specifiku, uzņēmums nedomā, ka tā programmatūra būtu noteicošais faktors, pieņemot darbā kandidātus. Mēs esam palīgrīks, un tas tiek praktiski izmantots arī kopā ar cilvēkiem no otras puses. Viņš saka, ka tas nav automātisks filtrs.

Tomēr likmes ir tik augstas darba meklētājiem, kuri mēģina orientēties šajos rīkos, ka noteikti ir nepieciešama lielāka piesardzība. Galu galā vairumam nodarbinātības nodrošināšana nav tikai jauns izaicinājums vai vide — darba atrašana ir ļoti svarīga viņu ekonomiskajai izdzīvošanai.

paslēpties