Kā mūsu dati kodē sistemātisku rasismu

Tehnikas kundze

Man bieži ir teikts: dati nemelo. Tomēr tā nekad nav bijusi mana pieredze. Man dati gandrīz vienmēr ir meli. Google attēlu meklēšanas rezultātos veselīgai ādai ir redzamas tikai gaišas sievietes un vaicājums par Melnās meitenes joprojām atgriežas pornogrāfijā . The CelebA sejas datu kopai ir uzlīmes ar lielu degunu un lielām lūpām, kas ir nesamērīgi piešķirtas tādām tumšākām sieviešu sejām kā manējā. ImageNet apmācītu modeļu etiķete es esmu slikts cilvēks, narkomāns vai neveiksminieks. Trūkst datu kopu ādas vēža noteikšanai paraugi tumšāki ādas tipiem.

Baltā pārākums bieži parādās vardarbīgi — iekšā šāvieni uz pārpildīto Walmart vai dievkalpojums baznīcā , ar asu piezīmi par naida izraisītu apsūdzību vai rupju grūstīšanos uz ielas, taču dažreiz tas iegūst smalkāku formu, piemēram, šie meli. Ja tie no mums, kas veido AI sistēmas, turpina ļaut klajiem meliem par balto pārākumu tikt iestrādātiem it visā, sākot no datu vākšanas līdz datu kopu definēšanai un izmantošanai, tas norāda uz satraucošu toleranci.

Cilvēki, kas nav baltie, nav svešinieki. Globāli mēs esam norma , un šķiet, ka tā nav drīzumā mainās . Datu kopas, kas tik īpaši iebūvētas un paredzētas baltajām laukumiem, atspoguļo konstruēto realitāti, nevis dabisko. Precizitātes aprēķināšana bez manas pārdzīvotās pieredzes mani ne tikai aizvaino, bet arī pakļauj reālas briesmas.

Bojāti dati

Pētījumā ar nosaukumu Netīri dati, sliktas prognozes , vadošā autore Rašida Ričardsone apraksta satraucošu scenāriju: policijas iecirkņi, par kuriem ir aizdomas vai apstiprinājums, ka tie ir iesaistījušies korumpētā, rasistiskā aizsprieduma vai citādi nelikumīgā praksē, turpina sniegt savus datus jaunu automatizētu sistēmu izstrādē, kas paredzētas, lai palīdzētu darbiniekiem pieņemt policijas lēmumus.

Prognozējošās policijas rīku mērķis ir nosūtīt darbiniekus uz nozieguma vietu, pirms tas notiek. Tiek pieņemts, ka vietas, kur personas iepriekš ir bijušas arestētas, korelē ar iespējamību turpmākai nelikumīgai darbībai. Ričardsons norāda, ka šis pieņēmums paliek neapšaubāms pat tad, ja šie sākotnējie aresti bija rasistiski motivēti vai nelikumīgi, dažkārt ietverot sistēmiskas manipulācijas ar datiem, policijas korupciju, policijas ziņojumu viltošanu un vardarbību, tostarp iedzīvotāju aplaupīšanu, pierādījumu ievietošanu, izspiešanu, antikonstitucionālas kratīšanas un citas korumpētas darbības. Pat dati no vissliktākās uzvedības policijas departamentiem ir joprojām tiek izmantoti, lai informētu par prognozējamiem policijas rīkiem .

Kā Tampa Bay Times ziņo , šī pieeja var sniegt algoritmisku pamatojumu turpmākai policijas vajāšanai mazākumtautību un zemu ienākumu kopienās. Izmantojot šādus kļūdainus datus, lai apmācītu jaunas sistēmas, algoritmā tiek iestrādāts policijas departamenta dokumentētais pārkāpums un tiek turpināta prakse, par kuru jau zināms, ka tie terorizē tos, kuri ir visneaizsargātākie pret šo ļaunprātīgo izmantošanu.

Var šķist, ka tas raksturo dažas traģiskas situācijas. Tomēr mašīnmācībā tā patiešām ir norma: šī ir tipiskā datu kvalitāte, ko mēs pašlaik pieņemam kā mūsu neapšaubāmo pamatpatiesību.

Saistīts stāsts

Kas trūkst korporatīvajos paziņojumos par rasu netaisnību? Patiesais rasisma cēlonis. 63 nesenu paziņojumu analīze liecina, ka ASV tehnoloģiju uzņēmumi vairākkārt ir uzlikuši atbildību par rasu netaisnību melnādainajiem cilvēkiem.

Kādu dienu GPT-2, agrāka publiski pieejama versija automatizēts valodu ģenerēšanas modelis ko izstrādājusi pētniecības organizācija OpenAI, sāka ar mani atklāti runāt par baltās tiesības. Ņemot vērā vienkāršus norādījumus, piemēram, balto vīrieti vai melnādaino sievieti, modeļa ģenerētais teksts varētu izraisīt diskusijas par balto āriešu tautām un ārvalstu un nebaltajiem iebrucējiem.

Šajos aizspriedumos bija ne tikai šausminoši apvainojumi, piemēram, kuce, slampa, nēģeris, čalis un slanteye, bet arī radītais teksts iemiesoja īpašu amerikāņu balto nacionālistu retoriku, aprakstot demogrāfiskos draudus un novirzoties uz antisemītiskiem pret ebrejiem un komunistiem.

GPT-2 nedomā pats — tas ģenerē atbildes, atkārtojot valodas modeļus, kas novēroti modeļa izstrādei izmantotajos datos. Šajā datu kopā ar nosaukumu WebText ir vairāk nekā 8 miljoni dokumentu kopā 40 GB teksta, kas iegūts no hipersaitēm. Šīs saites pašas tika atlasītas no ziņām, par kurām visvairāk balsoja sociālo mediju vietnē Reddit, as heiristisks rādītājs, kas norāda, vai citiem lietotājiem saite šķita interesanta, izglītojoša vai vienkārši smieklīga .

Tomēr Reddit lietotāji, tostarp tie, kas augšupielādē un balso zināms, ka tajos ietilpst balto pārākuma atbalstītāji . Gadiem ilgi platforma bija pārpildīts ar rasistisku valodu un atļautām saitēm uz saturs, kas pauž rasistisku ideoloģiju. Un, lai gan tādi ir pieejamas praktiskas iespējas lai ierobežotu šo uzvedību platformā, pirmie nopietnie mēģinājumi darīt 2015. gadā toreizējā izpilddirektore Elena Pao, sabiedrība tos slikti uzņēma, un tas izraisīja intensīvu uzmākšanās un pretreakcija .

Neatkarīgi no tā, vai ir darīšana ar maldīgiem policistiem vai maldīgiem lietotājiem, tehnologi izvēlas ļaut šim konkrētajam nomācošajam pasaules uzskatam nostiprināties datu kopās un noteikt mūsu izstrādāto modeļu raksturu. OpenAI pati atzina ierobežojumus datu iegūšanai no Reddit, atzīmējot to daudzas ļaunprātīgas grupas izmanto šo diskusiju forumu organizēšanai . Tomēr arī organizācija turpina izmantot Reddit iegūto datu kopu , pat tās valodas modeļa turpmākajās versijās. Datu avotu bīstami kļūdainais raksturs tiek efektīvi noraidīts ērtības labad, neskatoties uz sekām. Ļaunprātīgs nolūks nav nepieciešams, lai tas notiktu, lai gan ir zināma nedomājoša pasivitāte un nolaidība.

Mazie baltie meli

Balto pārākums ir maldīgs uzskats, ka baltie indivīdi ir pārāki par citām rasēm. Tas nav vienkāršs nepareizs priekšstats, bet gan ideoloģija, kas sakņojas tajā maldināšana . Rase ir pirmais mīts, pārākums nākamais. Šīs ideoloģijas piekritēji spītīgi turas pie izgudrojuma, kas viņiem dod privilēģijas.

Es dzirdu, kā šie meli mīkstina valodu no a karš pret narkotikām uz an opioīdu epidēmija , un vaino garīgā veselība vai videospēles par balto uzbrucēju darbībām pat kā tā piedēvē slinkums un noziedzība nebaltajiem upuriem. Es ievēroju, kā tas izdzēš tos, kas izskatās kā es, un skatos, kā tas notiek nebeidzamā bālo seju parādē, no kurām, šķiet, nevaru izbēgt — filmās, uz žurnālu vākiem un balvu pasniegšanas ceremonijās.

Datu kopas, kas tik īpaši iebūvētas un paredzētas baltajām laukumiem, atspoguļo konstruēto realitāti, nevis dabisko.

Šī ēna seko katrai manai kustībai, neomulīgs vēsums manā pakausī. Kad es dzirdu slepkavību, es neredzu tikai policistu viņa celis uz rīkles vai maldījies modrs ar ieroci viņa pusē — tas ir ekonomika, kas žņaudz mēs, slimība, kas vājina mums, un valdība, kas apklusina mums.

Pastāsti man — kāda ir atšķirība starp pārmērīgu policijas darbu mazākumtautību rajonos un neobjektivitāti algoritms, kas tur nosūtīja virsniekus ? Kāda ir atšķirība starp segregētu skolu sistēmu un diskriminējošu vērtēšanas algoritms ? Starp ārstu, kurš neklausa, un algoritms, kas liedz jums slimnīcas gultu ? Nav sistemātiska rasisma atsevišķi no mūsu algoritmiskā ieguldījuma, no slēptā algoritmu izvietošanas tīkla, kas regulāri sabrūk tiem, kuri jau ir visneaizsargātākie.

Pretošanās tehnoloģiskajam determinismam

Tehnoloģija nav no mums neatkarīga; to esam radījuši mēs, un mēs to pilnībā kontrolējam. Dati nav tikai patvaļīgi politiskā — pastāv īpaša toksiska un dezinformēta politika, kurai datu zinātnieki bezrūpīgi ļauj iefiltrēties mūsu datu kopās. Balto pārākums ir viens no tiem.

Mēs jau esam iekļāvuši sevi un savus lēmumus iznākumā — nav neitrālas pieejas. Nav nākotnes datu versijas, kas būtu maģiski objektīvas. Dati vienmēr būs subjektīva kādas personas realitātes interpretācija, konkrēts to mērķu un perspektīvu izklāsts, kuriem mēs šajā brīdī izvēlamies piešķirt prioritāti. Tas ir spēks, kas mums ir atbildīgs par šo datu iegūšanu, atlasi un izstrādi, kā arī modeļu izstrādi, kas interpretē informāciju. Būtībā godīgumu nevar apmainīt pret precizitāti — tas ir mītisks upuris, attaisnojums, lai neuzņemtos mūsu lomu snieguma noteikšanā, vispirms izslēdzot citus.

Tie no mums, kas veido šīs sistēmas, izvēlēsies, kuras subreddits un tiešsaistes avoti, lai pārmeklētu , kas valodas uz izmantot vai ignorēt, kuras datu kopas tiek izmantotas noņemt vai pieņemt . Pats galvenais, mēs izvēlēties, kam mēs izmantojam šos algoritmus , un kādus mērķus mēs optimizējam priekš. Mēs izvēlamies etiķetes, ko veidojam, datus, ko mēs uzņemam, metodes, ko izmantojam. Mēs izvēlamies, kurus mēs atzinīgi vērtējam kā datu zinātniekus, inženierus un pētniekus un kurus mēs ne . Mūsu izveidotās tehnoloģijas dizainam bija daudz iespēju, un mēs izvēlējāmies šo. Mēs esam atbildīgi.

Tātad, kāpēc mēs nevarētu būt uzmanīgāki? Kad beidzot pieradīsim atklāties datu izcelsme , problemātisko datu kopu dzēšana , un skaidri definējot katra modeļa darbības jomas ierobežojumi ? Kurā brīdī mēs varam nosodīt tos, kas darbojas ar skaidri izteikta balto pārākuma programma , un ņem nopietnas darbības iekļaušanai?

Neskaidrs ceļš uz priekšu

Apjucis ar korporatīvā līdzjūtība , abstraktiem tehniskiem risinājumiem un formulēt sociālās teorijas, esmu vērojis vienaudžus, kas apsveic sevi ar neredzamo progresu. Galu galā es viņus apskaužu, jo viņiem ir izvēle tajā pašā pasaulē, kurā es, tāpat kā katrs cits melnādains, nevaru atteikties no tā, ka tas rūpējas.

Tā kā melnādainie cilvēki tagad mirst dabas un nedabisku katastrofu kakofonijā, daudzus manus kolēģus joprojām vairāk uzmundrina jaunākais produkts vai kosmosa palaišana, nevis šausmas par realitāti, kas aizrauj elpu.

Fakts ir tāds, ka AI nedarbojas, kamēr tas nedarbojas mums visiem.

Gadiem ilgi esmu redzējis, ka šī problēma tiek izcelta kā svarīga, taču ir skaidrs, ka tā risināšana joprojām tiek uzskatīta par neprioritāru, patīkami, ja ir papildu darbība — tas vienmēr ir sekundāra kādai modeļa funkcionalitātes definīcijai, kurā es neietveru.

Skaidrs, ka modeļi joprojām cīnās, lai risinātu šīs neobjektivitātes problēmas svinēja kā izrāvienu , kamēr cilvēki ir pietiekami drosmīgi, lai runātu par risku apklusināt, vai vēl ļaunāk . Pastāv nepārprotama kultūras pašapmierinātība ar lietām, kā parasti, un, lai gan tas rada vilšanos, tas nav īpaši pārsteidzoši jomā, kurā lielākā daļa vienkārši nesaprot spēles likmi.

Fakts ir tāds, ka AI nedarbojas, kamēr tas nedarbojas mums visiem. Ja mēs ceram kādreiz risināt rasu netaisnību, mums ir jāpārtrauc mūsu izkropļoto datu sniegšana kā pamata patiesība. Nav racionālas un taisnīgas pasaules, kurā nomas instrumenti sistemātiski izslēdz sievietes no tehniskām lomām, vai kur pašbraucošas automašīnas, visticamāk, uztriec gājējus ar tumšāku ādu . Nevienas realitātes patiesība, ko es atpazīstu, nav šajos modeļos vai datu kopās, kas tos informē.

Mašīnmācīšanās kopiena turpina pieņemt noteiktu disfunkcijas līmeni, kamēr tiek ietekmētas tikai noteiktas grupas. Tam nepieciešamas apzinātas pārmaiņas, un tas prasīs tikpat daudz pūļu kā jebkura cita cīņa pret sistemātisku apspiešanu. Galu galā mūsu datos ietvertie meli daudz neatšķiras no jebkuriem citiem meliem, ko ir stāstījis baltā pārākums. Tādējādi tiem būs vajadzīgs tikpat daudz enerģijas un ieguldījumu, lai tos novērstu.

Debora Raji ir Mozilla stipendiāte, kuru interesē algoritmiskā auditēšana un novērtēšana. Viņa ir strādājusi pie vairākiem godalgotiem projektiem, lai izceltu neobjektivitātes gadījumus datorredzē un uzlabotu dokumentācijas praksi mašīnmācībā.

paslēpties