Apvienotās Karalistes eksāmenu sabrukums mums atgādina, ka algoritmi nevar salabot bojātas sistēmas

Ms Tech | AP, Getija

Kad Apvienotā Karaliste pirmo reizi nolēma atrast alternatīvu skolas beigšanas kvalifikācijai, pieņēmums šķita pilnīgi saprātīgs. Covid-19 bija izsitusi jebkādu iespēju studentiem kārtot eksāmenus klātienē, taču valdība joprojām vēlējās iespēju novērtēt viņus, pieņemot lēmumus par uzņemšanu universitātē.

Galvenās bažas bija godīguma jautājums. Skolotāji jau bija prognozējuši savu skolēnu eksāmenu rezultātus, taču iepriekšējie pētījumi bija pierādījuši, ka tie var būt neobjektīvi, pamatojoties uz vecumu, dzimumu un etnisko piederību. Pēc virknes ekspertu paneļu un konsultācijas , Ofqual, Kvalifikāciju un eksāmenu regulas birojs, pievērsās algoritmam. No turienes viss nogāja šausmīgi nepareizi.

Gandrīz 40% studentu galu galā saņēma eksāmenu punktus, kas tika pazemināti no viņu skolotāju prognozēm, draudot viņiem izmaksāt vietas universitātē. Analīze algoritms arī atklāja, ka tas ir nesamērīgi nodarījis kaitējumu studentiem no strādnieku šķiras un nelabvēlīgām kopienām un palielinājis privātskolu skolēnu rādītājus. 16. augustā simtiem skandēja Jādāvā algoritms pie Apvienotās Karalistes Izglītības departamenta ēkas Londonā, lai protestētu pret rezultātiem. Nākamajā dienā Ofqual bija mainīja savu lēmumu . Studenti tagad saņems vai nu skolotāja prognozētos punktus, vai algoritma rezultātus — atkarībā no tā, kurš no tiem ir augstāks.

Sabrukums šķiet kā mācību grāmatas piemērs algoritmiskā diskriminācija . Tie, kuriem kopš preparēts algoritms ir norādījuši, cik paredzams, ka lietas noies greizi; tas daļēji tika apmācīts ne tikai par katra studenta iepriekšējo mācību sasniegumu, bet arī par iepriekšējiem iestājeksāmeniem studenta skolā. Šāda pieeja varēja novest tikai pie izcilu izņēmumu sodīšanas par labu konsekventam vidējam rādītājam.

Bet problēmas sakne ir dziļāka nekā slikti dati vai slikta algoritmiskā konstrukcija. Tika pieļautas būtiskākas kļūdas pirms tam Ofqual pat izvēlējās izmantot algoritmu. Apakšā regulators zaudēja redzeslokā galveno mērķi: palīdzēt studentiem pāriet uz universitāti trauksmes pārņemtā laikā. Šajā bezprecedenta situācijā eksāmenu sistēmu vajadzēja pilnībā pārdomāt.

Notika tikai iespaidīga iztēles neveiksme, saka Hajs Jungs Hans, ASV organizācijas Human Rights Watch pētnieks, kurš koncentrējas uz bērnu tiesībām un tehnoloģijām. Viņi vienkārši neapšaubīja tik daudzu savu procesu priekšnoteikumus pat tad, kad tas būtu jādara.

Pamata līmenī Ofqual pēc eksāmenu atcelšanas saskārās ar diviem iespējamiem mērķiem. Pirmais bija izvairīties no pakāpes inflācijas un standartizēt punktu skaitu; otrs bija studentu novērtējums pēc iespējas precīzāk tā, lai tas būtu noderīgs uzņemšanai augstskolās. Saskaņā ar valsts sekretāra direktīvu tā izvirzīja prioritāti pirmajam mērķim. Es domāju, ka tas tiešām bija brīdis, kurā bija problēma, saka Hanna Fra, Londonas Universitātes koledžas vecākā pasniedzēja un grāmatas autore. Sveika pasaule: Kā būt cilvēkam mašīnas laikmetā . Viņi optimizēja nepareizo lietu. Tad būtībā nav nozīmes tam, kāds ir algoritms — tas nekad nebija ideāls.

Bija tikai iespaidīga iztēles neveiksme.

Hye Jung Han

Mērķis pilnībā veidoja veidu, kā Ofqual risināja šo problēmu. Standartizācijas nepieciešamība pārspēja visu pārējo. Pēc tam regulators loģiski izvēlējās vienu no labākajiem standartizācijas rīkiem — statistikas modeli, lai prognozētu iestājeksāmenu punktu sadalījumu 2020. gadā, kas atbilstu sadalījumam no 2019. gada.

Ja Ofkāls būtu izvēlējies citu mērķi, viss būtu risinājies pavisam savādāk. Visticamāk, tas būtu atcēlis algoritmu un sadarbojies ar universitātēm, lai mainītu to, kā eksāmenu atzīmes tiek svērtas viņu uzņemšanas procesos. Ja viņi vienkārši paskatītos vienu soli garām savai tūlītējai problēmai un paskatītos, kāds ir atzīmju mērķis — lai iestāties universitātē, lai varētu dabūt darbu —, viņi būtu varējuši elastīgi strādāt ar universitātēm un darbavietām, lai pateiktu: 'Čau, šogad. Atzīmes izskatīsies savādāk, kas nozīmē, ka jebkuri svarīgi lēmumi, kas tradicionāli tika pieņemti, pamatojoties uz atzīmēm, arī ir jāpielāgo un jāmaina, saka Han.

Pievēršoties uztveramajam algoritmiskā risinājuma taisnīgumam, Ofkvals apžilbināja visas sistēmas acīmredzamo nevienlīdzību. Han saka, ka ir raksturīga netaisnība, definējot problēmu, lai prognozētu skolēnu atzīmes tā, it kā pandēmija nebūtu notikusi. Tas faktiski ignorē to, ko mēs jau zinām, proti, ka pandēmija atklāja visas šīs digitālās plaisas izglītībā.

Ofqual neveiksmes nav unikālas. Ziņojumā Pagājušajā nedēļā Oksfordas Interneta institūts publicēja, pētnieki atklāja, ka viens no visbiežāk sastopamajiem slazdiem, kuros organizācijas iekrīt algoritmu ieviešanā, ir pārliecība, ka tie atrisinās patiešām sarežģītas strukturālas problēmas. Šie projekti nodrošina sava veida maģisku domāšanu, saka Gina Neff, institūta asociētā profesore, kura bija ziņojuma līdzautore. Algoritms kaut kā vienkārši iznīcinās skolotāju neobjektivitāti, iznīcinās visus mēģinājumus krāpt vai izspēlēt sistēmu.

Es domāju, ka šī ir pirmā reize, kad visa tauta vienlaikus ir izjutusi algoritma netaisnību.

Hanna Fra

Bet patiesība ir tāda, ka algoritmi nevar salabot bojātas sistēmas. Viņi pārmanto to sistēmu trūkumus, kurās tie ir ievietoti. Šajā gadījumā studentiem un viņu nākotnei galu galā tika nodarīts kaitējums. Es domāju, ka šī ir pirmā reize, kad visa tauta vienlaikus ir izjutusi algoritma netaisnību, saka Frajs.

Frajs, Nefs un Hans uztraucas, ka ar to nebūs beigušās algoritmiskās ķibeles. Neraugoties uz jauno sabiedrības izpratni par problēmām, godīgu un izdevīgu algoritmu izstrāde un ieviešana, atklāti sakot, ir ļoti grūts uzdevums.

Tomēr viņi mudina organizācijas maksimāli izmantot no šīs pieredzes gūtās mācības. Pirmkārt, atgriezieties pie mērķa un kritiski padomājiet, vai tas ir pareizais. Otrkārt, novērtējiet strukturālās problēmas, kas jānovērš, lai sasniegtu mērķi. (Kad valdība martā atcēla eksāmenu, tam vajadzēja būt signālam nākt klajā ar citu stratēģiju, kas ļautu daudz lielākai lēmumu pieņēmēju ekoloģijai godīgi novērtēt studentu sniegumu, saka Nefs.)

Visbeidzot, izvēlieties risinājumu, kas ir viegli saprotams, īstenojams un apstrīdams, jo īpaši neskaidrības laikā. Šajā gadījumā, saka Frajs, tas nozīmē atteikties no algoritma par labu skolotāja prognozētajiem rezultātiem: es nesaku, ka tas ir ideāls, viņa saka, bet tā ir vismaz vienkārša un pārredzama sistēma.

paslēpties