AI joprojām neapmierina naida runas regulēšanu

Ms Tech | Getty, Atbrīvojieties

Neraugoties uz visiem jaunākajiem sasniegumiem valodu AI tehnoloģijā, tā joprojām cīnās ar vienu no visvienkāršākajām lietojumprogrammām. In jauns pētījums , zinātnieki pārbaudīja četras no labākajām AI sistēmām naida runas noteikšanai un atklāja, ka visas no tām dažādos veidos cīnījās, lai atšķirtu toksiskus un nekaitīgus teikumus.

Rezultāti nepārsteidz — ir grūti izveidot AI, kas izprot dabiskās valodas nianses. Bet veids, kā pētnieki diagnosticēja problēmu, ir svarīgs. Viņi izstrādāja 29 dažādus testus, kas vērsti uz dažādiem naida runas aspektiem, lai precīzāk noteiktu, kur katra sistēma neizdodas. Tas ļauj vieglāk saprast, kā pārvarēt sistēmas nepilnības, un jau palīdz vienam komerciālajam pakalpojumam uzlabot savu AI.

Pētījuma autori, kuru vadīja zinātnieki no Oksfordas Universitātes un Alana Tjūringa institūta, intervēja darbiniekus no 16 bezpeļņas organizācijām, kas nodarbojas ar naida apkarošanu tiešsaistē. Komanda izmantoja šīs intervijas, lai izveidotu 18 dažādu veidu naida runas taksonomiju, koncentrējoties tikai uz angļu valodu un tekstu balstītu naida runu, tostarp nievājošu runu, lamuvārdus un draudošu valodu. Viņi arī identificēja 11 nenaidīgus scenārijus, kas parasti pakludina AI moderatorus, tostarp rupjību izmantošanu nekaitīgos paziņojumos, apmelojumus, kurus mērķsabiedrība ir atguvusi, un naida nosodījumus, kas citē vai atsaucas uz sākotnējo naida runu (pazīstama kā pretruna). runa).

Katrai no 29 dažādajām kategorijām viņi ar rokām izstrādāja desmitiem piemēru un izmantoja veidņu teikumus, piemēram, es ienīstu [IDENTITĀTE] vai Tu man esi tikai [SLUR], lai ģenerētu tos pašus piemēru kopas septiņām aizsargātām grupām — identitātēm, kas ir juridiski aizsargāts pret diskrimināciju saskaņā ar ASV tiesību aktiem. Viņi atvērtā koda galīgā datu kopa ar nosaukumu HateCheck, kurā ir gandrīz 4000 piemēru.

Pēc tam pētnieki pārbaudīja divus populārus komerciālos pakalpojumus: Google Jigsaw Perspektīva API un divas cepures SiftNinja . Abi ļauj klientiem ziņojumos vai komentāros atzīmēt saturu, kas pārkāpj saturu. Perspektīvu jo īpaši izmanto tādas platformas kā Reddit un ziņu organizācijas, piemēram, The New York Times un Wall Street Journal. Tas atzīmē ziņojumus un komentārus un piešķir tiem prioritāti, lai tos varētu pārskatīt, pamatojoties uz toksicitātes mērījumu.

Lai gan SiftNinja bija pārāk pielaidīgs pret naida runu, nespējot atklāt gandrīz visas tās variācijas, Perspective bija pārāk grūts. Tas lieliski atklāja lielāko daļu no 18 naidpilnām kategorijām, taču atzīmēja arī lielāko daļu naidīgo kategoriju, piemēram, atkārtoti apmelojumus un pretrunas. Pētnieki atklāja to pašu modeli, pārbaudot divus Google akadēmiskos modeļus, kas pārstāv vienu no labākajām pieejamajām valodu AI tehnoloģijām un, iespējams, kalpo par pamatu citām komerciālām satura moderēšanas sistēmām. Akadēmiskie modeļi arī uzrādīja nevienmērīgu sniegumu aizsargātajās grupās — nepareizi klasificējot pret dažām grupām vērstu naidu biežāk nekā pret citām.

Saistīts stāsts

Kā Facebook kļuva atkarīgs no dezinformācijas izplatīšanas

Uzņēmuma mākslīgā intelekta algoritmi deva tam nepiepildāmu ieradumu meliem un naida runai. Tagad cilvēks, kurš tos uzbūvēja, nevar atrisināt problēmu.

Rezultāti norāda uz vienu no mūsdienu sarežģītākajiem AI balstītas naida runas noteikšanas aspektiem: mērens pārāk maz, un jūs nevarat atrisināt problēmu; mēreniet pārāk daudz, un jūs varētu cenzēt valodu, ko marginalizētās grupas izmanto, lai dotu spēku un aizstāvētu sevi. Pēkšņi jūs sodītu tieši tās kopienas, uz kurām visbiežāk saskaras naids, saka doktors Pols Rotgers. kandidāts Oksfordas interneta institūtā un darba līdzautors.

Lūsija Vasermane, Jigsaw vadošā programmatūras inženiere, saka, ka Perspective pārvar šos ierobežojumus, paļaujoties uz moderatoriem, lai pieņemtu galīgo lēmumu. Taču šis process nav mērogojams lielākām platformām. Jigsaw šobrīd strādā pie funkcijas izstrādes, kas pārkārtotu ziņām un komentāriem prioritātes, pamatojoties uz Perspective nenoteiktību — automātiski noņemot saturu, kas noteikti ir naidīgs, un atzīmējot robežu saturu cilvēkiem.

Viņa saka, ka jaunajā pētījumā aizraujoši ir tas, ka tas nodrošina smalku veidu, kā novērtēt jaunākos sasniegumus. Viņa saka, ka daudzas lietas, kas ir izceltas šajā dokumentā, piemēram, atkārtoti vārdi ir izaicinājums šiem modeļiem. Jigsaw tagad izmanto HateCheck, lai labāk izprastu atšķirības starp saviem modeļiem un to, kur tie ir jāuzlabo.

Arī akadēmiķi ir sajūsmā par šo pētījumu. Šis dokuments sniedz mums jauku, tīru resursu nozares sistēmu novērtēšanai, saka Mārtens Saps, Vašingtonas universitātes valodu AI pētnieks, kas ļauj uzņēmumiem un lietotājiem lūgt uzlabojumus.

Tam piekrīt arī Ratgersa universitātes socioloģijas docents Tomass Deividsons. Valodas modeļu ierobežojumi un valodas netīrība nozīmē, ka vienmēr būs kompromisi starp nepietiekamu un pārmērīgu naida runu, viņš saka. Viņš piebilst, ka HateCheck datu kopa palīdz padarīt šos kompromisus redzamus.

paslēpties