Divu gadu cīņa par to, lai Amazon nepārdotu policijai sejas atpazīšanu

Ms Tech | Getty

2018. gada vasarā gandrīz 70 civiltiesību un pētniecības organizācijas uzrakstīja vēstuli Džefam Bezosam, pieprasot, lai Amazon pārtrauc valdībām nodrošināt sejas atpazīšanas tehnoloģiju. Kā daļu no pastiprinātas koncentrēšanās uz tehnoloģiju uzņēmumu lomu ļaujot ASV valdībai izsekot un deportēt imigrantus , tā aicināja Amazon iestāties par pilsoņu tiesībām un pilsoniskajām brīvībām. Kā tika reklamēts, tajā teikts, ka Rekognition ir jaudīga novērošanas sistēma, kas ir viegli pieejama, lai pārkāptu tiesības un mērķētu uz krāsainām kopienām.

Kopā ar vēstuli Vašingtonas Amerikas Pilsoņu brīvību savienība (ACLU) nosūtīja vairāk nekā 150 000 lūgumrakstu parakstu, kā arī vēl vienu paša uzņēmuma akcionāru vēstule izsakot līdzīgas prasības. Dažas dienas vēlāk Amazon darbinieki atkārtoja bažas iekšēja piezīme .

Neskatoties uz pieaugošo spiedienu, Amazon turpināja savu darbību kā parasti. Tas izvirzīja Rekognition kā rīku interesējošo cilvēku uzraudzībai un dubultojies par citu novērošanas tehnoloģiju nodrošināšanu valdībām. Piemēram, uzņēmuma meitas uzņēmums Ring, ko iegādājās tikai dažus mēnešus iepriekš, strauji nodibināja partnerattiecības ar vairāk nekā 1300 tiesībsargājošo iestāžu kriminālizmeklēšanā izmantot kadrus no mājas drošības kamerām.

Taču trešdien, 10. jūnijā, Amazon šokēja pilsoņu tiesību aktīvistus un pētniekus, paziņojot, ka noteiks viena gada moratoriju policijas Rekognition izmantošanai. Gājiens sekoja IBM lēmums pārtraukt darbību tās vispārējas nozīmes sejas atpazīšanas sistēma. Nākošajā dienā, Microsoft paziņoja par to tā pārtrauks pārdot savu sistēmu policijas dienestiem, kamēr federālais likums neregulēs tehnoloģiju. Lai gan Amazon piekāpās mazākajā no trim uzņēmumiem, tas ir arī lielākais tehnoloģiju nodrošinātājs tiesībaizsardzības iestādēm. Šis lēmums ir divu gadu ilgas izpētes un ārējā spiediena kulminācija, lai pierādītu Rekognition tehniskās nepilnības un tās ļaunprātīgas izmantošanas iespējas.

Tas ir neticami, ka Amazon patiešām reaģē šajā pašreizējā sarunā par rasismu, sacīja Debora Raji, AI pārskatatbildības pētniece, kura bija līdzautore. pamatpētījums par rasu aizspriedumiem un neprecizitātēm, kas iebūvētas uzņēmuma tehnoloģijā. Tas tikai runā par šī brīža spēku.

Gads ir sākums, saka Kade Krokforda, Masačūsetsas ACLU tehnoloģiju brīvības programmas direktore. Tā ir absolūta uzņēmuma atzīšana, vismaz netieši, ka tas, ko rasu taisnīguma aizstāvji viņiem ir stāstījuši divus gadus, ir pareizi: sejas novērošanas tehnoloģija apdraud melnādainos un brūnos cilvēkus Amerikas Savienotajās Valstīs. Tā ir ievērojama atzīšanās.

Divi gadi tapšanas procesā

2018. gada februārī MIT pētnieks Džojs Buolamvini un Timnits Gebru, toreizējais Microsoft pētnieks, publicēja revolucionārs pētījums Dzimuma nokrāsas par dzimuma un rasu aizspriedumiem, kas iestrādāti komerciālajās sejas atpazīšanas sistēmās. Tajā laikā pētījumā tika iekļautas sistēmas, ko pārdeva Microsoft, IBM un Megvii, viens no Ķīnas lielākajiem sejas atpazīšanas pakalpojumu sniedzējiem. Tas neietvēra Amazon atpazīšanu.

Tomēr tas bija pirmais šāda veida pētījums, un rezultāti bija šokējoši: sliktākā sistēma, IBM, bija par 34,4 procentpunktiem sliktāka, klasificējot dzimumu tumšādainām sievietēm nekā gaišiem vīriešiem. Rezultāti nekavējoties atspēkoja apgalvojumus par precizitāti, ko uzņēmumi izmantoja savu produktu pārdošanai, un izraisīja debates par sejas atpazīšanu kopumā.

Debatēm plosoties, drīz vien kļuva skaidrs, ka problēma ir arī dziļāka nekā šķībi apmācības dati vai nepilnīgi algoritmi. Pat ja sistēmas sasniegtu 100% precizitāti, tās joprojām varētu tikt izvietotas bīstamos veidos, brīdināja daudzi pētnieki un aktīvisti.

Kadrs no Džoja Buolamvini video poēmas 'AI, vai es neesmu sieviete?' parāda dažas no Rekognition pieļautajām rupjām kļūdām.

ALGORITMISKĀ TIESISKUMA LĪGAS ATKLĀTĪBA

Ir divi veidi, kā šī tehnoloģija var kaitēt cilvēkiem, saka Raji, kurš strādāja ar Buolamwini un Gebru pie Gender Shades. Viens veids ir nestrādāt: tā kā krāsainiem cilvēkiem ir augstāks kļūdu līmenis, tas viņus pakļauj lielākam riskam. Otra situācija ir tad, kad tā dara darbs — kur jums ir ideāla sejas atpazīšanas sistēma, taču tā ir viegli ieroci pret kopienām, lai tās vajātu. Tā ir atsevišķa un saistīta saruna.

Viņa saka, ka Gender Shades darbs bija atklāt pirmo situāciju. To darot, tas izveidoja atveri, lai atklātu otro.

Amazon mēģināja diskreditēt viņu pētījumus; tā mēģināja viņus iedragāt kā melnādainās sievietes, kas vadīja šo pētījumu.

Meredita Vitekere

Tas notika ar IBM. Pēc Gender Shades publicēšanas IBM bija viens no pirmajiem uzņēmumiem, kas sazinājās ar pētniekiem, lai noskaidrotu, kā novērst neobjektivitātes problēmas. 2019. gada janvārī tā izlaida datu kopu ar nosaukumu Seju daudzveidība , kurā ir vairāk nekā 1 miljons anotētu sejas attēlu, cenšoties uzlabot šādas sistēmas. Bet kustība atspēlējās pēc tam, kad cilvēki atklāja, ka attēli ir izņemti no Flickr, izvirzot jautājumus par piekrišanu un privātumu. Tas izraisīja vēl vienu iekšējo diskusiju sēriju par to, kā ētiski apmācīt sejas atpazīšanu. Tas viņus noveda pie trušu bedres, atklājot daudzās problēmas, kas pastāv ar šo tehnoloģiju, saka Radži.

Tāpēc galu galā nebija pārsteigums, kad uzņēmums beidzot izvilka kontaktdakšu. (kritiķi norādīt ka tā sistēmai tik un tā nebija lielas pozīcijas tirgū.) IBM tikko saprata, ka “ieguvumi” nekādā ziņā nav proporcionāli kaitējumam, saka Radži. Un šajā konkrētajā brīdī viņiem bija īstais brīdis par to atklāties.

Bet, lai gan IBM reaģēja uz ārējām atsauksmēm, Amazon reakcija bija pretēja. 2018. gada jūnijā starp visām pārējām vēstulēm, kurās uzņēmums pieprasa, lai policija pārtrauc Rekognition, Raji un Buolamwini izmantošanu. paplašināja dzimumu toņu auditu lai aptvertu tā veiktspēju. Rezultāti, kas publicēti pusgadu vēlāk a recenzēts papīrs , kārtējo reizi konstatētas milzīgas tehniskas neprecizitātes. Atpazīšana klasificēja tumšādaino sieviešu dzimumu par 31,4 procentpunktiem mazāk precīzāk nekā gaišādaino vīriešu dzimumu.

Jūlijā arī Ziemeļkalifornijas ACLU veica savu pētījumu , konstatējot, ka sistēma nepatiesi saskaņoja 28 ASV Kongresa locekļu fotoattēlus ar bildēm. Viltus sērkociņi bija nesamērīgi krāsaini cilvēki.

Tomēr tā vietā, lai atzītu rezultātus, Amazon publicēja divus Emuārs ziņas apgalvojot, ka Radži un Buolamvini darbs ir maldinošs. Atbildot uz to, gandrīz 80 AI pētnieki , tostarp Tjūringa balvas ieguvējs Yoshua Bengio, aizstāvēja darbu un vēlreiz aicināja uzņēmumu pārtraukt sejas atpazīšanas pārdošanu policijai.

Toreiz tas bija tik emocionāls pārdzīvojums, atceras Radži. Mēs bijām veikuši tik daudz uzticamības pārbaudes attiecībā uz mūsu rezultātiem. Un tad sākotnējā atbilde bija tik tieši konfrontējoša un agresīvi aizsargājoša.

Amazon mēģināja diskreditēt viņu pētījumus; tā mēģināja viņus iedragāt kā melnādainās sievietes, kas vadīja šo pētījumu, saka Meredita Vitekere, AI Now Institute līdzdibinātāja un direktore, kas pēta AI sociālo ietekmi. Tas mēģināja izveidot stāstījumu, ka viņi ir kļūdījušies — lai ikviens, kurš skaidri saprata tehnoloģiju, zinātu, ka tā nav problēma.

Šis solis patiešām pakļāva Amazon politiskām briesmām.

Mutale Nkonde

Faktiski, publiski noraidot pētījumu, Amazon sāka ieguldīt aizkulišu labojumu izpētē. Tas nolīga godīguma vadītāju, ieguldīja tajā NSF pētniecības stipendija Lai mazinātu problēmas, un dažus mēnešus vēlāk izlaida jaunu Rekognition versiju, tieši reaģējot uz pētījuma bažām, saka Radži. Tajā pašā laikā tas pārspēt akcionāru centienus apturēt tehnoloģiju pārdošanu un veikt neatkarīgu cilvēktiesību novērtējumu. Tas arī iztērēja miljonus lobēt Kongresu, lai izvairītos no regulējuma.

Bet tad viss mainījās. 2020. gada 25. maijā virsnieks Dereks Šovins nogalināja Džordžu Floidu, izraisot dzirksti vēsturiska kustība ASV, lai cīnītos pret institucionālo rasismu un izbeigtu policijas brutalitāti. Atbildot uz to, iepazīstināja Pārstāvju palātas un Senāta demokrāti policijas reformas likumprojekts kas ietver priekšlikumu ierobežot sejas atpazīšanu tiesībaizsardzības kontekstā, iezīmējot lielākos federālos centienus regulēt tehnoloģiju. Kad IBM paziņoja, ka pārtrauks savu sejas atpazīšanas sistēmu, tā arī nosūtīja vēstule Kongresa Black Caucus, mudinot nacionālo dialogu par to, vai un kā vietējām tiesībaizsardzības iestādēm būtu jāizmanto sejas atpazīšanas tehnoloģija.

Es domāju, ka IBM lēmums nosūtīt šo vēstuli laikā, kad tā pati likumdevēja iestāde izskatīja policijas reformas likumprojektu, patiešām mainīja situāciju, saka Mutale Nkonde, AI politikas padomniece un Hārvardas Berkmana Kleina centra līdzstrādniece. Lai gan viņi nebija lieli spēlētāji sejas atpazīšanas jomā, šis solis patiešām pakļāva Amazon politiskiem draudiem. Tas noteica skaidru saikni starp tehnoloģiju un notiekošo valsts sarunu tādā veidā, ko regulatoriem bija grūti ignorēt.

Piesardzīgs optimisms

Taču, lai gan aktīvisti un pētnieki Amazones piekāpšanos uzskata par lielu uzvaru, viņi arī atzīst, ka karš nav beidzies. Pirmkārt, Amazon 102 vārdu paziņojumā bija neskaidra informācija par to, vai moratorijs attieksies uz tiesībaizsardzības iestādēm ārpus policijas, piemēram, ASV Imigrācijas un muitas dienesta vai Iekšzemes drošības departamenta. (Amazon uz komentāru pieprasījumu neatbildēja.) Citam arī viena gada termiņš ir sarkanais karogs.

Ciniskā daļa no manis saka, ka Amazon gatavojas gaidīt, līdz protesti norims — līdz nacionālā saruna pāries uz kaut ko citu —, lai atgrieztos savā iepriekšējā pozīcijā, saka ACLU Krokforda. Mēs rūpīgi uzraudzīsim, lai pārliecinātos, ka šie uzņēmumi nesaņem labu presi par šiem nesenajiem paziņojumiem, vienlaikus strādājot aizkulisēs, lai kavētu mūsu centienus likumdevēju iestādēs.

Tāpēc aktīvisti un pētnieki arī uzskata, ka regulējumam būs izšķiroša nozīme, virzoties uz priekšu. Mācība šeit nav tāda, ka uzņēmumiem vajadzētu pašpārvaldīt, saka Vitekers. Mācība ir tāda, ka mums ir vajadzīgs lielāks spiediens un ka mums ir vajadzīgi noteikumi, kas nodrošina, ka mēs nedomājam tikai par viena gada aizliegumu.

Ciniskā daļa no manis saka, ka Amazon gatavojas gaidīt, līdz protesti norims... lai atgrieztos savā iepriekšējā stāvoklī.

Kade Krokforda

Kritiķi saka, ka pašreizējā policijas reformas likumprojektā ietvertie nosacījumi par sejas atpazīšanu, kas aizliedz tikai tās izmantošanu reāllaikā ķermeņa kamerās, nav pietiekami plaši, lai sauktu tehnoloģiju gigantus pilnībā pie atbildības. Bet Nkonde ir optimistiska: viņa uzskata, ka šis pirmais ieteikumu kopums ir sēkla papildu regulējumam. Tiklīdz tie būs pieņemti likumā, tie kļūs par svarīgu atskaites punktu citiem likumprojektiem, kas rakstīti, lai aizliegtu sejas atpazīšanu citos lietojumos un kontekstos.

Viņa saka, ka gan federālā, gan vietējā līmenī patiešām ir lielāka likumdošanas kustība. Un uzmanības centrā, ka Floida nāve ir uzspīdējusi uz rasistisku policijas praksi, ir paātrinājis tās plašo atbalstu.

Tiešām nebija vajadzīgas Džordža Floida, Breonnas Teilores un pārāk daudzu citu melnādaino cilvēku slepkavības — un simtiem tūkstošu cilvēku, kas izgāja ielās visā valstī —, lai šie uzņēmumi saprastu, ka Bleka prasības Brūnu vadītās organizācijas un zinātnieki no ACLU un daudzām citām grupām bija morāli pareizi, saka Krokfords. Bet šeit mēs esam. Labāk vēlāk nekā nekad.

paslēpties