AI redzēja apgrieztu AOC fotoattēlu. Tas automātiski pabeidza viņu valkājot bikini.

Ms Tech | Getty

Ir zināms, ka valodu ģenerēšanas algoritmi ietver rasistiskas un seksistiskas idejas. Viņi ir apmācīti interneta valodā, tostarp Reddit un Twitter tumšajos stūros, kas var ietvert naida runu un dezinformāciju. Neatkarīgi no kaitīgās idejas šajos forumos tiek normalizētas kā daļa no viņu mācīšanās.

Pētnieki tagad ir pierādījuši ka tas pats var attiekties uz attēlu ģenerēšanas algoritmiem. Ievadiet vienu vīrieša fotoattēlu, kas ir apgriezts tieši zem viņa kakla, un 43% gadījumu tas automātiski pabeigs viņu uzvalkā. Ievadiet to pašu ar apgrieztu sievietes fotoattēlu, pat tādas slavenas sievietes fotoattēlu kā ASV pārstāve Aleksandrija Okasio-Kortesa, un 53% gadījumu tas automātiski papildinās viņu, valkājot zemu griezumu augšā vai bikini. Tas attiecas ne tikai uz attēlu ģenerēšanu, bet arī uz visām datorredzes lietojumprogrammām, tostarp uz video balstīti kandidātu novērtēšanas algoritmi , sejas atpazīšana un uzraudzība.

Raiens Stīds, Kārnegija Melona universitātes doktorants un Džordža Vašingtonas universitātes docente Eilina Kaliskana, aplūkoja divus algoritmus: OpenAI iGPT (GPT-2 versija, kas ir apmācīta uz pikseļiem, nevis vārdiem) un Google SimCLR . Lai gan katrs algoritms attēlu apguvei pieiet atšķirīgi, tiem ir kopīga svarīga iezīme — tie abi tiek izmantoti pilnībā mācīšanās bez uzraudzības , kas nozīmē, ka attēlu marķēšanai nav vajadzīgi cilvēki.

Tas ir salīdzinoši jauns jauninājums no 2020. gada. Galvenokārt izmantoti iepriekšējie datorredzes algoritmi uzraudzīts mācīšanās, kas ietver to barošanu ar manuāli marķētiem attēliem: kaķu fotoattēliem ar atzīmi kaķis un mazuļu fotoattēliem ar atzīmi mazulis. Taču 2019. gadā pētniece Keita Kroforda un mākslinieks Trevors Paglens atklāja, ka šīs cilvēku radītās etiķetes programmā ImageNet, kas ir vissvarīgākā attēlu datu kopa datorredzes modeļu apmācībai, dažreiz satur satraucošu valodu , piemēram, slampa sievietēm un rasu zaimošana minoritātēm.

Jaunākais dokuments parāda vēl dziļāku toksicitātes avotu. Pat bez šīm cilvēku etiķetēm paši attēli kodē nevēlamus modeļus. Šis jautājums ir līdzīgs tam, ko jau ir atklājusi dabiskās valodas apstrādes (NLP) kopiena. Milzīgās datu kopas, kas apkopotas, lai barotu šos datus izsalkušos algoritmus, tver visu internetā. Un internetā ir pārāk daudz trūcīgi ģērbtu sieviešu un citu bieži kaitīgu stereotipu.

Lai veiktu pētījumu, Stīds un Kaliskans gudri pielāgoja paņēmienu, ko Caliskan iepriekš izmantoja, lai pārbaudītu neobjektivitāti neuzraudzītos NLP modeļos. Šie modeļi mācās manipulēt un ģenerēt valodu, izmantojot vārdu iegulšanu — valodas matemātisko attēlojumu, kas sagrupē vārdus, kas parasti tiek lietoti kopā, un atdala vārdus, kas parasti atrodami atsevišķi. Iekšā 2017. gada papīrs, kas publicēts Zinātne , Caliskan izmērīja attālumus starp dažādiem vārdu pāriem, ko psihologi izmantoja, lai izmērītu cilvēku aizspriedumus netiešās asociācijas tests (IAT) . Viņa atklāja, ka šie attālumi gandrīz lieliski atjauno IAT rezultātus. Stereotipiski vārdu pāri, piemēram, vīrietis un karjera vai sieviete un ģimene, bija cieši kopā, savukārt pretējie pāri, piemēram, vīrietis un ģimene vai sieviete un karjera, bija tālu viens no otra.

iGPT ir arī balstīts uz iegulšanu: tas sagrupē vai atdala pikseļus, pamatojoties uz to, cik bieži tie ir sastopami mācību attēlos. Pēc tam šos pikseļu iegulumus var izmantot, lai salīdzinātu, cik tuvu vai tālu atrodas divi attēli matemātiskajā telpā.

Saistīts stāsts

Patiesās AI briesmas ir tuvāk, nekā mēs domājam

Aizmirstiet par superinteliģento AI: algoritmi jau rada reālu kaitējumu. Labās ziņas: cīņa ir sākusies.

Savā pētījumā Stīds un Caliskan vēlreiz atklāja, ka šie attālumi atspoguļo IAT rezultātus. Vīriešu un kaklasaišu un uzvalku fotoattēli tiek rādīti cieši blakus, savukārt sieviešu fotoattēli ir redzami tālāk viens no otra. Pētnieki ieguva tādus pašus rezultātus ar SimCLR, neskatoties uz to, ka tika izmantota cita metode iegulšanas iegūšanai no attēliem.

Šie rezultāti ietekmē attēlu ģenerēšanu. Citi attēlu ģenerēšanas algoritmi, piemēram ģeneratīvie pretrunīgie tīkli , ir noveduši pie dziļi viltotas pornogrāfijas eksplozija ka gandrīz tikai mērķētas uz sievietēm . Jo īpaši iGPT ir vēl viens veids, kā cilvēki var ģenerēt seksualizētas sieviešu fotogrāfijas.

Taču iespējamā pakārtotā ietekme ir daudz lielāka. NLP jomā neuzraudzīti modeļi ir kļuvuši par visu veidu lietojumu mugurkaulu. Pētnieki sāk ar esošu neuzraudzītu modeli, piemēram, BERT vai GPT-2, un izmanto pielāgotas datu kopas, lai to precīzi pielāgotu noteiktam mērķim. Šī daļēji uzraudzītā pieeja, gan bez uzraudzības, gan uzraudzītas mācīšanās kombinācija, ir kļuvusi par de facto standartu.

Tāpat arī datorredzes lauks sāk redzēt to pašu tendenci. Stīds un Kaliskans uztraucas par to, ko varētu nozīmēt šīs ievirzītās novirzes, ja algoritmi tiek izmantoti sensitīvām lietojumprogrammām, piemēram, policijas darbā vai darbā pieņemšanā, kur modeļi jau analizē kandidātu videoierakstus, lai izlemtu, vai tie ir piemēroti šim darbam. Šīs ir ļoti bīstamas lietojumprogrammas, kas pieņem secīgus lēmumus, saka Caliskan.

Debora Raji, Mozilla stipendiāte, kura bija līdzautore ietekmīgs pētījums atklājot sejas atpazīšanas novirzes, teikts, ka pētījumam vajadzētu kalpot kā modinātāja zvanam datora redzes laukam. Viņa saka, ka ilgu laiku liela daļa aizspriedumu kritikas bija par to, kā mēs marķējam savus attēlus. Tagad šajā rakstā teikts, ka datu kopas faktiskais sastāvs rada šīs novirzes. Mums ir jāatbild par to, kā mēs veidojam šīs datu kopas un apkopojam šo informāciju.

Stīds un Caliskan mudina uzņēmumus, kas izstrādā šos modeļus, nodrošināt lielāku pārredzamību, lai tie atvērtu tos un ļautu akadēmiskajai sabiedrībai turpināt izmeklēšanu. Viņi arī mudina kolēģus pētniekus veikt vairāk testu pirms redzes modeļa izvietošanas, piemēram, izmantojot metodes, ko viņi izstrādājuši šim rakstam. Visbeidzot, viņi cer, ka šī joma izstrādās atbildīgākus veidus, kā apkopot un dokumentēt apmācību datu kopās iekļauto.

Caliskan saka, ka mērķis galu galā ir iegūt lielāku izpratni un kontroli, izmantojot datorredzi. Viņa saka, ka mums jābūt ļoti uzmanīgiem attiecībā uz to izmantošanu, taču tajā pašā laikā, kad mums ir šīs metodes, mēs varam mēģināt to izmantot sociālajam labumam.

paslēpties