Kā Facebook kļuva atkarīgs no dezinformācijas izplatīšanas

Uzņēmuma mākslīgā intelekta algoritmi deva tam nepiepildāmu ieradumu meliem un naida runai. Tagad cilvēks, kurš tos uzbūvēja, nevar atrisināt problēmu.

Vainīgie ir Vintermeijers

autors

• Kārena Hao arhīva lapa

2021. gada 11. marts

Facebook AI direktors Hoakins Kvinjonero Kandela atvainojās savai auditorijai.

Tas bija 2018. gada 23. marts, tikai dažas dienas pēc atklājuma, ka Cambridge Analytica, konsultāciju uzņēmums, kas strādāja pie Donalda Trampa 2016. gada prezidenta vēlēšanu kampaņas, slepus izsūka desmitiem miljonu amerikāņu personas datus no viņu Facebook kontiem, cenšoties ietekmēt situāciju. viņi balsoja. Tas bija lielākais privātuma pārkāpums Facebook vēsturē, un Quiñonero iepriekš bija plānots uzstāties konferencē, cita starpā par AI, ētikas un privātuma krustojumu uzņēmumā. Viņš apsvēra iespēju atcelt, bet pēc tam, kad tas bija apspriedies ar savu komunikāciju direktoru, viņš bija saglabājis atvēlēto laiku.

Kad viņš pakāpās pret istabu, viņš sāka ar uzņemšanu. Man tikko ir bijušas piecas grūtākās dienas manā darba laikā Facebook, viņš atceras teicienu. Ja būs kritika, es to pieņemu.

Cambridge Analytica skandāls aizsāks visu laiku lielāko Facebook publicitātes krīzi. Tas pastiprināja bažas, ka algoritmi, kas nosaka to, ko cilvēki redz platformā, pastiprina viltus ziņas un naida runu un ka Krievijas hakeri bija viņus apbruņojuši, lai mēģinātu ietekmēt vēlēšanas Trampa labā. Miljoniem sāka dzēst lietotni ; darbinieki pameta protestu; uzņēmuma tirgus kapitalizācija kritās par vairāk nekā 100 miljardu dolāru pēc jūlija peļņas aicinājuma.

Nākamajos mēnešos Marks Cukerbergs sāka atvainoties. Viņš atvainojās, ka nepaņēma pietiekami plašs skats par Facebook pienākumiem un par viņa kā izpilddirektora kļūdām. Iekšēji Šerila Sandberga, galvenā operatore, uzsāka divu gadu darbu civiltiesību audits ieteikt veidus, kā uzņēmums varētu novērst savas platformas izmantošanu, lai grautu demokrātiju.

Visbeidzot, Maiks Šroepfers, Facebook galvenais tehnoloģiju speciālists, lūdza Quiñonero izveidot komandu ar nedaudz neskaidru direktīvu: izpētīt uzņēmuma algoritmu ietekmi uz sabiedrību. Grupa sevi nosauca par biedrību un mākslīgā intelekta laboratoriju (SAIL); pagājušajā gadā tas apvienojās ar citu komandu, kas strādāja pie datu privātuma jautājumiem, lai izveidotu atbildīgu AI.

Kvinjonero bija dabiska izvēle šim darbam. Viņš, tāpat kā jebkurš cits, bija atbildīgs par Facebook kā mākslīgā intelekta spēkstacijas pozīciju. Sešus gadus darbā Facebook viņš bija izveidojis dažus no pirmajiem algoritmiem lietotāju mērķauditorijas atlasei ar saturu, kas precīzi pielāgots viņu interesēm, un pēc tam viņš bija izplatījis šos algoritmus visā uzņēmumā. Tagad viņa mandāts būtu padarīt tos mazāk kaitīgus.

Facebook ir pastāvīgi norādījis uz Quiñonero un citu centieniem, cenšoties labot savu reputāciju. Tā regulāri izsauc dažādus līderus, lai runātu ar medijiem par notiekošajām reformām. 2019. gada maijā, tā sniedza virkni interviju ar Šroepferu New York Times, kas apbalvoja uzņēmumu ar humanizējošo profilu, kurā ir jūtīgs, labi nodomu vadīts vadītājs, kurš cenšas pārvarēt tehniskās problēmas, kas saistītas ar dezinformācijas un naida runas filtrēšanu no satura straumes, kas sasniedza miljardus vienību dienā. Šie izaicinājumi ir tik smagi, ka padara Šrēpferu emocionālu, rakstīja Times: Dažreiz tas viņu noved līdz asarām.

2020. gada pavasarī acīmredzot pienāca mana kārta. Ari Entin, Facebook AI komunikācijas direktors, e-pastā jautāja, vai es vēlos padziļināti apskatīt uzņēmuma AI darbu. Pēc sarunas ar vairākiem tās AI vadītājiem es nolēmu pievērsties Quiñonero. Entins laimīgi pateicās. Kā ne tikai Atbildīgā AI komandas vadītājs, bet arī cilvēks, kurš padarīja Facebook par AI vadītu uzņēmumu, Quiñonero bija laba izvēle, lai to izmantotu kā plakātu zēnu.

Arī man viņš šķita dabiska tēmas izvēle. Gadu laikā, kopš viņš pēc Cambridge Analytica skandāla izveidoja savu komandu, bažas par melu un naida runas izplatību Facebook bija tikai pieaugušas. 2018. gada beigās uzņēmums atzina, ka šī darbība ir bijusi palīdzēja veicināt genocīda pret musulmaņu kampaņu Mjanmā vairākus gadus. 2020. gadā Facebook novēloti sāka vērsties pret holokausta noliedzējiem, anti-vaxxers un sazvērestības kustību QAnon. Visas šīs bīstamās viltus radīja metastāzes, pateicoties AI iespējām, kuras palīdzēja Kvinjonero izveidot. Algoritmi, kas ir Facebook biznesa pamatā, netika izveidoti, lai filtrētu to, kas ir nepatiess vai aizkustinošs; tie tika izstrādāti, lai liktu cilvēkiem kopīgot un iesaistīties pēc iespējas vairāk satura, parādot viņiem lietas, par kurām viņi, visticamāk, varētu būt sašutuši vai sašutuši. Šīs problēmas novēršana man šķita kā galvenā atbildīgā AI teritorija.

Es sāku regulāri zvanīt Quiñonero videozvaniem. Es arī runāju ar Facebook vadītājiem, esošajiem un bijušajiem darbiniekiem, nozares vienaudžiem un ārējiem ekspertiem. Daudzi vēlējās palikt anonīmi, jo bija parakstījuši neizpaušanas līgumus vai baidījās no atriebības. Es gribēju zināt: ko Kvinjonero komanda darīja, lai ierobežotu naidu un melus savā platformā?

Hoakins Kvinjonero Kandela ārpus savas mājas Bay Area, kur viņš dzīvo kopā ar sievu un trim bērniem.

VINNIJS VINTEREJERS

Bet Entinam un Kvinjonero bija atšķirīga darba kārtība. Katru reizi, kad mēģināju aktualizēt šīs tēmas, mani lūgumi runāt par tām tika atmesti vai novirzīti. Viņi tikai vēlējās apspriest Atbildīgās AI komandas plānu, lai risinātu viena konkrēta veida problēmu: AI novirzi, kurā algoritmi diskriminē noteiktas lietotāju grupas. Piemērs varētu būt reklāmu mērķauditorijas atlases algoritms, kas parāda noteiktas darba vai mājokļa iespējas baltajiem cilvēkiem, bet ne minoritātēm.

Līdz brīdim, kad tūkstošiem nemiernieku janvārī iebruka ASV Kapitolija teritorijā, ko daļēji organizēja Facebook un ko veicināja meli par nozagtām vēlēšanām, kas izplatījās visā platformā, no manām sarunām bija skaidrs, ka Atbildīgā AI komandai nav izdevies panākt. virzība pret dezinformāciju un naida runu, jo tā nekad nebija pievērsusi uzmanību šīm problēmām. Vēl svarīgāk, es sapratu, ka, ja tas mēģinātu, tas būtu sagatavots neveiksmei.

Iemesls ir vienkāršs. Viss, ko uzņēmums dara un izvēlas nedarīt, izriet no vienas motivācijas: Cukerberga nerimstošās izaugsmes vēlmes. Quiñonero AI zināšanas pastiprināja šo izaugsmi. Kā es uzzināju savos ziņojumos, viņa komanda iesaistījās AI aizsprieduma mērķī, jo šādas novirzes novēršana palīdz uzņēmumam izvairīties no ierosinātā regula kas, ja tas tiks pieņemts, varētu kavēt šo izaugsmi. Facebook vadība ir arī vairākkārt vājinājusi vai apturējusi daudzas iniciatīvas, kuru mērķis ir iztīrīt dezinformāciju platformā, jo tas apdraudētu šo izaugsmi.

Citiem vārdiem sakot, Atbildīgās AI komandas darbs — neatkarīgi no tā nopelniem saistībā ar konkrēto AI aizspriedumu risināšanas problēmu — būtībā nav būtisks, lai atrisinātu lielākās dezinformācijas, ekstrēmisma un politiskās polarizācijas problēmas. Un mēs visi maksājam cenu.

Kad jūs strādājat, lai palielinātu iesaistīšanos, jūs neinteresē patiesība. Jūs neinteresē kaitējums, šķelšanās, sazvērestība. Patiesībā tie ir jūsu draugi, saka Hanijs Farids, Kalifornijas Universitātes Bērklijas profesors, kurš sadarbojas ar Facebook, lai izprastu uz attēliem un video balstītu dezinformāciju platformā.

Viņi vienmēr dara tikai tik daudz, lai varētu publicēt paziņojumu presei. Bet ar dažiem izņēmumiem es nedomāju, ka tas faktiski tiek pārvērsts labākā politikā. Viņi nekad īsti netiek galā ar pamatproblēmām.

2012. gada martā, Kvinjonero apciemoja draugu Bay Area. Tolaik viņš bija Microsoft Research Apvienotās Karalistes biroja menedžeris, vadot komandu, kas izmantoja mašīnmācīšanos, lai panāktu, ka vairāk apmeklētāju noklikšķina uz reklāmām, ko rāda uzņēmuma meklētājprogramma Bing. Viņa zināšanas bija retas, un komanda bija mazāka par gadu. Mašīnmācībai, AI apakškopai, vēl bija jāpierāda sevi kā risinājumu liela mēroga nozares problēmām. Tikai daži tehnoloģiju giganti bija ieguldījuši tehnoloģijās.

Kvinjonero draugs vēlējās parādīt savu jauno darba devēju, vienu no karstākajiem jaunizveidotajiem uzņēmumiem Silīcija ielejā: Facebook, kas toreiz bija astoņus gadus vecs un jau gandrīz miljards ikmēneša aktīvie lietotāji (t.i., tie, kuri ir pieteikušies vismaz vienu reizi pēdējo 30 dienu laikā). Kamēr Kvinjonero staigāja pa Menlo parka galveno mītni, viņš vēroja, kā vientuļš inženieris veica nozīmīgu vietnes atjauninājumu, kas būtu saistīts ar ievērojamu birokrātiju Microsoft. Tas bija neaizmirstams ievads Zuckerberg's Move fast and break things ētikā. Kvinjonero bija satriekts par iespējām. Nedēļas laikā viņš bija izgājis intervijas un parakstījis piedāvājumu pievienoties uzņēmumam.

Viņa ierašanās nevarēja būt labāka laikā. Facebook reklāmu pakalpojums bija straujas paplašināšanās vidū, jo uzņēmums gatavojās maija IPO. Mērķis bija palielināt ieņēmumus un pārņemt Google, kam piederēja lielākā daļa tiešsaistes reklāmas tirgus. Mašīnmācība, kas varētu paredzēt, kuras reklāmas vislabāk rezonēs ar kuriem lietotājiem un tādējādi padarīt tās efektīvākas, varētu būt ideāls rīks. Neilgi pēc sākuma Kvinjonero tika paaugstināts par komandas vadīšanu, kas ir līdzīga tai, kuru viņš vadīja uzņēmumā Microsoft.

Kvinjonero cāļu audzēšanu sāka 2019. gada beigās, lai atbrīvotos no sava darba intensitātes.

VINNIJS VINTEREJERS

Atšķirībā no tradicionālajiem algoritmiem, kurus inženieri ir stingri iekodējuši, mašīnmācības algoritmi apmāca ievades datus, lai uzzinātu tajos esošās korelācijas. Apmācītais algoritms, kas pazīstams kā mašīnmācības modelis, pēc tam var automatizēt turpmākos lēmumus. Piemēram, algoritms, kas apmācīts uz reklāmu klikšķu datiem, var uzzināt, ka sievietes biežāk nekā vīrieši noklikšķina uz jogas legingiem. Rezultātā iegūtais modelis rādīs vairāk šo reklāmu sievietēm. Mūsdienās tādā uz mākslīgā intelektu balstītā uzņēmumā kā Facebook inženieri ģenerē neskaitāmus modeļus ar nelielām variācijām, lai noskaidrotu, kurš no tiem vislabāk atbilst konkrētai problēmai.

Facebook lielais lietotāju datu apjoms sniedza Quiñonero lielas priekšrocības. Viņa komanda varēja izstrādāt modeļus, kas iemācījās secināt, ka pastāv ne tikai plašas kategorijas, piemēram, sievietes un vīrieši, bet arī ļoti smalkas kategorijas, piemēram, sievietes vecumā no 25 līdz 34 gadiem, kurām patika ar jogu saistītas Facebook lapas, un tām mērķētas reklāmas. Jo precīzāka ir mērķauditorijas atlase, jo lielāka iespēja saņemt klikšķi, kas reklāmdevējiem sniegtu lielāku peļņu.

Gada laikā viņa komanda bija izstrādājusi šos modeļus, kā arī rīkus jaunu ātrākai izstrādei un ieviešanai. Iepriekš Quiñonero inženieriem bija vajadzīgas sešas līdz astoņas nedēļas, lai izveidotu, apmācītu un pārbaudītu jaunu modeli. Tagad vajadzēja tikai vienu.

Ziņas par panākumiem ātri izplatījās. Komanda, kas strādāja, lai noteiktu, kuras ziņas atsevišķi Facebook lietotāji redzēs savās personīgajās ziņu plūsmās, vēlējās izmantot tās pašas metodes. Tāpat kā algoritmus varētu apmācīt prognozēt, kurš uz kādas reklāmas noklikšķinās, tos varētu arī apmācīt paredzēt, kurš kādu ziņu vēlētos vai kopīgot, un pēc tam piešķirt šīm ziņām lielāku pamanāmību. Ja modelis nosaka, ka, piemēram, kādam cilvēkam ļoti patīk suņi, draugu ziņas par suņiem šī lietotāja ziņu plūsmā tiktu rādītas augstāk.

Kvinjonero panākumi ar ziņu plūsmu kopā ar iespaidīgiem jauniem mākslīgā intelekta pētījumiem, kas tiek veikti ārpus uzņēmuma, piesaistīja Cukerberga un Šrēpfera uzmanību. Facebook tagad bija nedaudz vairāk nekā 1 miljards lietotāju, padarot to vairāk nekā astoņas reizes lielāku nekā jebkurš cits sociālais tīkls, taču viņi vēlējās zināt, kā turpināt šo izaugsmi. Vadītāji nolēma ieguldīt lielus ieguldījumus AI, interneta savienojamībā un virtuālajā realitātē.

Viņi izveidoja divas AI komandas. Viena no tām bija FAIR — fundamentālo pētījumu laboratorija, kas veicinātu tehnoloģiju jaunākās iespējas. Otra, lietišķā mašīnmācība (AML), integrētu šīs iespējas Facebook produktos un pakalpojumos. 2013. gada decembrī, pēc mēnešiem ilgas uzrunāšanas un pārliecināšanas, vadītāji pieņēma darbā Yann LeCun, vienu no lielākajiem vārdiem šajā jomā, lai vadītu FAIR. Trīs mēnešus vēlāk Kvinjonero atkal tika paaugstināts amatā, šoreiz par AML vadītāju. (Vēlāk to pārdēvēja par FAIAR, izrunājot uguni.)

Tādā veidā jūs zināt, kas viņam ir prātā. Es vienmēr, pāris gadus, atrados dažu soļu attālumā no Marka rakstāmgalda.

Hoakins Kvinonero Kandela

Savā jaunajā amatā Kvinjonero izveidoja jaunu modeļu izstrādes platformu, kurai var piekļūt ikviens Facebook lietotājs. Zvanīja FBLearner plūsma , tas ļāva inženieriem ar nelielu AI pieredzi apmācīt un ieviest mašīnmācības modeļus dažu dienu laikā. Līdz 2016. gada vidum to izmantoja vairāk nekā ceturtā daļa Facebook inženieru komandas, un tā jau tika izmantota, lai apmācītu vairāk nekā miljonu modeļu, tostarp modeļus attēlu atpazīšanai, reklāmu mērķauditorijas atlasei un satura regulēšanai.

Cukerberga apsēstība ar to, lai visa pasaule izmantotu Facebook, bija atradusi jaunu spēcīgu ieroci. Komandas iepriekš bija izmantojušas dizaina taktiku, piemēram, eksperimentējot ar paziņojumu saturu un biežumu, lai mēģinātu efektīvāk piesaistīt lietotājus. Viņu mērķis, cita starpā, bija palielināt rādītāju, ko sauc par L6/7, kas ir to cilvēku daļa, kuri pieteicās Facebook sešās no iepriekšējām septiņām dienām. L6/7 ir tikai viens no neskaitāmajiem veidiem, kā Facebook ir novērtējis iesaistīšanos — cilvēku tieksmi izmantot tās platformu jebkādā veidā, neatkarīgi no tā, vai tas ir, publicējot lietas, komentējot tās, atzīmējot tās ar Patīk vai kopīgojot tās, vai vienkārši aplūkojot tās. Tagad katra lietotāja mijiedarbība, ko kādreiz analizēja inženieri, tika analizēta ar algoritmiem. Šie algoritmi radīja daudz ātrākas, personalizētākas atgriezeniskās saites cilpas, lai pielāgotu un pielāgotu katra lietotāja ziņu plūsmu, lai turpinātu palielināt iesaistīšanās skaitu.

Cukerbergs, kurš sēdēja 20. ēkas centrā, galvenajā birojā Menlo parka galvenajā mītnē, novietoja jaunās FAIR un AML komandas sev blakus. Daudzi no sākotnējiem mākslīgā intelekta darbiniekiem bija tik tuvu, ka viņa un viņu rakstāmgalds praktiski aizkustināja. Tā bija iekšēja svētnīca, saka kāds bijušais AI organizācijas (Facebook filiāles, kurā ir visas tās AI komandas) vadītājs, kurš atgādina, ka izpilddirektors jauc cilvēkus savā tuvumā un ārā no tās, kad tie ieguva vai zaudēja viņa labvēlību. Tādā veidā jūs zināt, kas viņam ir prātā, saka Kvinjonero. Es vienmēr, pāris gadus, atrados dažu soļu attālumā no Marka rakstāmgalda.

Ar jauniem mašīnmācības modeļiem katru dienu tiekot tiešsaistē tiešsaistē, uzņēmums izveidoja jaunu sistēmu, lai izsekotu to ietekmei un maksimāli palielinātu lietotāju iesaisti. Process joprojām ir tāds pats kā šodien. Komandas apmāca jaunu mašīnmācības modeli pakalpojumā FBLearner, lai mainītu ziņu ranžēšanas secību vai labāk uztvertu saturu, kas pārkāpj Facebook kopienas standartus (noteikumus par to, kas ir un kas nav atļauts platformā). Pēc tam viņi testē jauno modeli nelielā Facebook lietotāju apakškopā, lai noteiktu, kā tas maina iesaistes rādītājus, piemēram, atzīmju Patīk, komentāru un kopīgošanas skaitu, saka Krišna Geida, kas no 2016. līdz 2018. gadam strādāja par ziņu plūsmas inženieru vadītāju. .

Ja modelis pārāk daudz samazina iesaistīšanos, tas tiek atmests. Pretējā gadījumā tas tiek izvietots un pastāvīgi uzraudzīts. Twitter, Gade paskaidroja ka viņa inženieri ik pēc dažām dienām saņems paziņojumus, ja tādi rādītāji kā atzīmes Patīk vai komentāri ir samazinājušies. Pēc tam viņi atšifrēja, kas izraisīja problēmu un vai kādam modelim ir nepieciešama pārkvalifikācija.

Taču šī pieeja drīz radīja problēmas. Modeļi, kas palielina iesaistīšanos, arī dod priekšroku strīdiem, dezinformācijai un ekstrēmismam: vienkāršiem vārdiem sakot, cilvēkiem patīk nežēlīgs saturs. Dažreiz tas saasina esošo politisko spriedzi. Līdz šim postošākais piemērs ir Mjanmas gadījums, kur virkne viltus ziņu un naida runas par Rohingya musulmaņu mazākumtautību pārvērš valsts reliģisko konfliktu līdz pilnīgam genocīdam. Facebook uzņemts 2018. gadā , pēc gadiem ilgas savas lomas mazināšanas, ka tā nav darījusi pietiekami daudz, lai novērstu mūsu platformas izmantošanu šķelšanās veicināšanai un bezsaistes vardarbības kūdīšanai.

Lai gan Facebook sākumā varēja neievērot šīs sekas, tas tos pētīja līdz 2016. gadam. Tā gada iekšējā prezentācijā, ko pārskatīja Wall Street Journal , uzņēmuma pētniece Monika Lī atklāja, ka Facebook ne tikai mitina lielu skaitu ekstrēmistu grupu, bet arī reklamēja tās saviem lietotājiem: 64% no visiem ekstrēmistu grupu pievienošanās gadījumiem ir saistīti ar mūsu ieteikumu rīkiem, teikts prezentācijā, galvenokārt pateicoties modeļi, kas ir aiz funkcijām Grupas, kurām jums vajadzētu pievienoties un Atklājiet.

Jautājums vadībai bija šāds: vai mums vajadzētu optimizēt iesaistīšanos, ja atklājat, ka kāds ir neaizsargātā prāta stāvoklī?

Bijušais AI pētnieks, kurš pievienojās 2018. gadā

2017. gadā Kriss Kokss, Facebook ilggadējais produktu galvenais vadītājs, izveidoja jaunu darba grupu, lai saprastu, vai lietotāju iesaistīšanās Facebook veicināšanā veicina politisko polarizāciju. Tas atklāja, ka patiešām pastāv korelācija un ka polarizācijas samazināšana nozīmētu saderināšanās ietekmi. 2018. gada vidū žurnālā izskatītajā dokumentā darba grupa ierosināja vairākus iespējamos labojumus, piemēram, ieteikumu algoritmu pielāgošanu, lai cilvēkiem ieteiktu daudzveidīgāku grupu klāstu. Taču tā atzina, ka dažas idejas bija pret izaugsmi. Lielākā daļa priekšlikumu netika virzīti uz priekšu, un darba grupa izformēja.

Kopš tā laika citi darbinieki ir apstiprinājuši šos secinājumus. Bijušais Facebook AI pētnieks, kurš pievienojās 2018. gadā, saka, ka viņš un viņa komanda veica pētījumu pēc pētījuma, apstiprinot vienu un to pašu pamatideju: modeļi, kas maksimāli palielina iesaistīšanos, palielina polarizāciju. Viņi varēja viegli izsekot, cik stingri lietotāji piekrita vai nepiekrita dažādiem jautājumiem, ar kādu saturu viņiem patika mijiedarboties un kā tā rezultātā mainījās viņu nostāja. Neatkarīgi no problēmas modeļi iemācījās pabarot lietotājiem arvien ekstrēmākus viedokļus. Laika gaitā viņi izmērāmi kļūt polarizētākam, viņš saka.

Pētnieku komanda arī atklāja, ka lietotāji, kuriem ir tendence publicēt melanholisku saturu vai iesaistīties ar to, kas ir iespējama depresijas pazīme, var viegli patērēt arvien negatīvākus materiālus, kas var vēl vairāk pasliktināt viņu garīgo veselību. Komanda ierosināja pielāgot satura ranžēšanas modeļus šiem lietotājiem, lai pārtrauktu tikai maksimizētu iesaistīšanos, lai viņiem tiktu rādītas mazāk nomācošās lietas. Jautājums vadībai bija šāds: vai mums vajadzētu optimizēt iesaistīšanos, ja atklājat, ka kāds ir neaizsargātā prāta stāvoklī? viņš atceras. (Facebook pārstāve teica, ka viņa nevar atrast šī priekšlikuma dokumentāciju.)

Saistīts stāsts

Nekārtīgā, slepenā realitāte aiz OpenAI centieniem glābt pasauli AI moonshot tika izveidots caurspīdīguma garā. Šis ir iekšējais stāsts par to, kā konkurences spiediens samazināja šo ideālismu.

Bet jebkas, kas mazināja iesaistīšanos, pat tādu iemeslu dēļ, kā, piemēram, lai nepasliktinātu kāda cilvēka depresiju, izraisīja lielu domstarpību un domstarpības starp vadību. Ar saviem darbības pārskatiem un algām, kas bija saistītas ar projektu veiksmīgu pabeigšanu, darbinieki ātri iemācījās atteikties no tiem, kas saņēma atgrūšanu, un turpināt strādāt pie tiem, kas tika diktēti no augšas uz leju.

Viens no šādiem projektiem, ko ļoti mudināja uzņēmuma vadītāji, ietvēra prognozēšanu, vai lietotāju varētu apdraudēt kaut kas, ko jau bija izdarījuši vairāki cilvēki: viņu pašnāvības tiešraides straumēšana pakalpojumā Facebook Live. Uzdevums ietvēra modeļa izveidi lai analizētu komentārus ka citi lietotāji publicēja videoklipu pēc tam, kad tas bija publicēts, un pievērš riska lietotāju uzmanību apmācītiem Facebook kopienas recenzentiem, kuri varētu piezvanīt vietējiem neatliekamās palīdzības dienestiem, lai veiktu labsajūtas pārbaudi. Tam nebija vajadzīgas nekādas izmaiņas satura ranžēšanas modeļos, tam bija niecīga ietekme uz iesaistīšanos, un tas efektīvi atvairīja negatīvo presi. Tas bija arī gandrīz neiespējami, saka pētnieks: tas vairāk ir PR triks. Mēģinot noteikt, vai kāds nogalinās sevi nākamo 30 sekunžu laikā, pamatojoties uz video analīzes pirmajām 10 sekundēm, efektivitāte nebūs pārāk efektīva.

Facebook apstrīd šo raksturojumu, sakot, ka komanda, kas strādāja pie šiem centieniem, kopš tā laika ir veiksmīgi prognozējusi, kuri lietotāji ir pakļauti riskam, un palielinājusi veikto labsajūtas pārbaužu skaitu. Taču uzņēmums neizpauž datus par savu prognožu precizitāti vai to, cik daudz labsajūtas pārbaužu izrādījās reālas ārkārtas situācijas.

Tikmēr bijušais darbinieks vairs neļauj meitai izmantot Facebook.

Kvinjonero vajadzēja būt 2018. gada aprīlī izveidoja SAIL (vēlāk Atbildīgā AI) komandu, kas bija lieliski piemērots šo problēmu risināšanai. Lietišķās mašīnmācības direktora amatā pavadītais laiks ļāva viņam cieši iepazīties ar uzņēmuma algoritmiem, jo ​​īpaši tiem, ko izmanto, lai ieteiktu ziņas, reklāmas, un citu saturu lietotājiem.

Šķita arī, ka Facebook ir gatavs šīs problēmas uztvert nopietni. Lai gan iepriekšējie centieni strādāt ar tiem bija izkaisīti visā uzņēmumā, Kvinjonero tagad tika piešķirta centralizēta komanda ar rīcības brīvību, lai strādātu pie visa, ko viņš uzskatīja par piemērotu AI un sabiedrības krustpunktā.

Tajā laikā Kvinjonero iesaistījās savā pāraudzināšanā par to, kā būt atbildīgam tehnologam. AI pētniecības jomā arvien lielāka uzmanība tika pievērsta AI neobjektivitātes un pārskatatbildības problēmām pēc augsta līmeņa pētījumiem, kas liecina, ka, piemēram, algoritms melnajiem apsūdzētajiem novērtēja kā tādus. visticamāk, ka tiks atkārtoti arestēts nekā baltie apsūdzētie, kuri bija arestēti par tādu pašu vai nopietnāku nodarījumu. Kvinjonero sāka pētīt zinātnisko literatūru par algoritmisko godīgumu, lasīt grāmatas par ētisko inženieriju un tehnoloģiju vēsturi, kā arī runāt ar civiltiesību ekspertiem un morāles filozofiem.

VINNIJS VINTEREJERS

Daudzo stundu laikā, ko pavadīju kopā ar viņu, es varētu teikt, ka viņš to uztvēra nopietni. Viņš bija pievienojies Facebook arābu pavasara laikā, kas ir virkne revolūciju pret nomācošajiem Tuvo Austrumu režīmiem. Eksperti uzteica sociālos medijus par informācijas izplatīšanu, kas veicināja sacelšanos, un sniedza cilvēkiem rīkus, lai viņi varētu organizēties. Kvinjonero ir dzimis Spānijā, bet uzaudzis Marokā, kur tieši redzēja vārda brīvības apspiešanu, un viņš juta ciešu saikni ar Facebook potenciālu kā uz labu.

Sešus gadus vēlāk Cambridge Analytica draudēja šo solījumu atcelt. Strīdi lika viņam konfrontēt savu ticību uzņēmumam un pārbaudīt, ko palikšana nozīmētu viņa godīgumam. Es domāju, ka tas, kas notiek ar lielāko daļu cilvēku, kas strādā Facebook — un tas noteikti ir bijis mans stāsts — ir tas, ka starp Facebook un mani nav robežas, viņš saka. Tas ir ārkārtīgi personiski. Bet viņš izvēlējās palikt un vadīt SAIL, jo uzskatīja, ka viņš varētu darīt vairāk pasaules labā, palīdzot mainīt uzņēmumu, nevis atstāt to aiz muguras.

Es domāju, ka, ja atrodaties tādā uzņēmumā kā Facebook, jo īpaši pēdējos gados, jūs patiešām saprotat, kādu ietekmi jūsu produkti atstāj uz cilvēku dzīvi — uz to, ko viņi domā, kā viņi sazinās, kā viņi mijiedarbojas savā starpā, saka Quiñonero's. ilggadējais draugs Zoubins Ghahramani, kurš palīdz vadīt Google Brain komandu. Es zinu, ka Hoakinam ļoti rūp visi šī aspekti. Kā cilvēks, kurš cenšas sasniegt labākus rezultātus un uzlabot lietas, viņš redz svarīgo lomu, kāda viņam var būt gan domāšanas, gan politikas veidošanā saistībā ar atbildīgu AI.

Sākumā SAIL bija tikai pieci cilvēki, kas nāca no dažādām uzņēmuma daļām, bet visi bija ieinteresēti algoritmu sociālajā ietekmē. Viena no dibinātājām Isabel Kloumann, pētniece, kas nāk no uzņēmuma datu zinātnes pamatgrupas, atnesa līdzi sākotnējo rīka versiju, lai izmērītu AI modeļu novirzes.

Komanda arī izstrādāja daudzas citas idejas projektiem. Bijušais AI organizācijas vadītājs, kurš piedalījās dažās SAIL agrīnajās sanāksmēs, atgādina vienu priekšlikumu cīņai pret polarizāciju. Tas ietvēra sentimenta analīzes izmantošanu, mašīnmācības veidu, kas interpretē viedokli teksta fragmentos, lai labāk identificētu komentārus, kas pauda ekstrēmus viedokļus. Šie komentāri netiks dzēsti, taču pēc noklusējuma tie tiks paslēpti ar iespēju tos atklāt, tādējādi ierobežojot to cilvēku skaitu, kuri tos ir redzējuši.

Un notika diskusijas par to, kāda loma SAIL varētu būt Facebook un kā tai būtu jāattīstās laika gaitā. Doma bija tāda, ka komanda vispirms izstrādās atbildīgas AI vadlīnijas, lai norādītu produktu komandām, kas tām jādara vai kas nav jādara. Taču cerība bija, ka tas galu galā kalpos par uzņēmuma centrālo centru, lai novērtētu AI projektus un apturētu tos, kas neievēroja vadlīnijas.

Tomēr bijušie darbinieki aprakstīja, cik grūti varētu būt iegūt dalību vai finansiālu atbalstu, ja darbs tieši neuzlaboja Facebook izaugsmi. Pēc savas būtības komanda bija nē domāja par izaugsmi, un dažos gadījumos tā piedāvāja izaugsmei pretējas idejas. Rezultātā tas saņēma maz resursu un nonīka. Daudzas tās idejas lielākoties palika akadēmiskas.

2018. gada 29. augustā, kas pēkšņi mainījās. Gatavojoties ASV vidustermiņa vēlēšanām, prezidents Donalds Tramps un citi republikāņu līderi saspringtas apsūdzības ka Facebook, Twitter un Google bija pretkonservatīvi noskaņoti. Viņi apgalvoja, ka jo īpaši Facebook moderatori, piemērojot kopienas standartus, vairāk nomāca konservatīvās balsis nekā liberālās. Šī maksa tiks veikta vēlāk tikt atmaskots , bet mirkļbirka #StopTheBias , ko veicināja Trampa tvīts, strauji izplatījās sociālajos medijos.

Trampam tas bija pēdējais mēģinājums sēt neuzticību valsts galvenajiem informācijas izplatīšanas kanāliem. Cukerbergam tas draudēja atsvešināt Facebook konservatīvos ASV lietotājus un padarīt uzņēmumu neaizsargātāku pret republikāņu vadītās valdības regulējumu. Citiem vārdiem sakot, tas apdraudēja uzņēmuma izaugsmi.

Facebook man nepiešķīra interviju ar Cukerbergu, bet gan iepriekšējā ziņošana ir parādīts kā viņš arvien vairāk pielūdza Trampu un republikāņu vadību. Pēc Trampa ievēlēšanas Džoels Kaplans, Facebook globālās sabiedriskās politikas viceprezidents un tā augstākā ranga republikānis, ieteica Cukerbergam rūpīgi rīkoties jaunajā politiskajā vidē.

2018. gada 20. septembrī, trīs nedēļas pēc Trampa #StopTheBias tvīta, Cukerbergs pirmo reizi kopš SAIL izveides sarīkoja tikšanos ar Kvinjonero. Viņš vēlējās uzzināt visu, ko Kvinjonero bija uzzinājis par AI aizspriedumiem un to, kā to atcelt Facebook satura regulēšanas modeļos. Tikšanās beigās bija skaidrs viens: AI aizspriedumi tagad bija Quiñonero galvenā prioritāte. Vadība ir bijusi ļoti, ļoti uzstājīga, lai pārliecinātos, ka mēs to mērogojam agresīvi, saka Reičads Alao, Responsible AI inženierzinātņu direktors, kurš pievienojās 2019. gada aprīlī.

Tā bija uzvara visiem telpā esošajiem. Cukerbergam ir veids, kā novērst apsūdzības pret konservatīvu aizspriedumiem. Un Quiñonero tagad bija vairāk naudas un lielāka komanda, lai uzlabotu kopējo Facebook pieredzi lietotājiem. Tie varētu balstīties uz Kloumana esošo rīku, lai izmērītu un labotu iespējamo pretkonservatīvo novirzi satura moderēšanas modeļos, kā arī labotu cita veida novirzes lielākajā daļā modeļu visā platformā.

Tas varētu palīdzēt novērst to, ka platforma nejauši diskriminē noteiktus lietotājus. Līdz tam laikam Facebook jau darbojās tūkstošiem modeļu vienlaikus, un gandrīz nevienam nebija izmērīta neobjektivitāte. Tas radītu juridiskas problēmas dažus mēnešus vēlāk ar ASV Mājokļu un pilsētu attīstības departamentu (HUD), kurš apgalvoja, ka uzņēmuma algoritmi no lietotāju datiem secināja aizsargātus atribūtus, piemēram, rasi, un rāda viņiem mājokļu reklāmas, pamatojoties uz šiem atribūtiem. — nelegāls diskriminācijas veids. (Tiesas prāva joprojām tiek izskatīta.) Šrēpfers arī prognozēja, ka Kongress drīzumā pieņems likumus regulēt algoritmisko diskrimināciju , tāpēc Facebook jebkurā gadījumā bija jāvirzās uz priekšu šajos centienos.

(Facebook apstrīd ideju, ka tas ir strādājis pie AI aizspriedumiem, lai aizsargātu izaugsmi vai gaidot regulējumu. Mēs izveidojām atbildīgo AI komandu, jo tā bija pareiza rīcība, sacīja pārstāvis.)

Taču, sašaurinot SAIL fokusu uz algoritmisko taisnīgumu, visas pārējās Facebook ilgstošās algoritmiskās problēmas tiktu atstātas malā. Tās satura ieteikumu modeļi turpinātu publicēt ziņas, ziņas un grupas lietotājiem, cenšoties palielināt iesaistīšanos, atalgojot ekstrēmistisku saturu un veicinot arvien vairāk sašķeltu politisko diskursu.

Cukerbergs to pat atzina. Divus mēnešus pēc tikšanās ar Kvinjonero, plkst publiska piezīme izklāstot Facebook plānus satura regulēšanai, viņš ilustrēja uzņēmuma iesaistīšanās stratēģijas kaitīgo ietekmi ar vienkāršotu diagrammu. Tas parādīja, ka, jo lielāka iespējamība, ka ziņa pārkāpj Facebook kopienas standartus, jo lielāka ir lietotāju iesaistīšanās, jo algoritmi, kas maksimāli palielina iesaistīšanos, atalgo uzbudinošu saturu.

FACEBOOK

Bet tad viņš parādīja citu diagrammu ar apgriezto attiecību. Tā vietā, lai apbalvotu saturu, kas bija tuvu kopienas standartu pārkāpumam, Facebook rakstīja, ka Facebook varētu izvēlēties sākt to sodīt, piešķirot tam mazāku izplatīšanu un iesaisti, nevis vairāk. Kā tas tiktu darīts? Ar vairāk AI. Viņš teica, ka Facebook izstrādās labākus satura moderēšanas modeļus, lai atklātu šo robežsaturu, lai to ar atpakaļejošu spēku varētu pazemināt ziņu plūsmā, lai mazinātu tā viralitāti.

FACEBOOK

Problēma ir tā, ka attiecībā uz visiem Cukerberga solījumiem šī stratēģija labākajā gadījumā ir vāja.

Dezinformācija un naida runa pastāvīgi attīstās. Rodas jauni meli; par mērķi kļūst jauni cilvēki un grupas. Lai uztvertu lietas, pirms tās kļūst izplatītas, satura regulēšanas modeļiem ir jāspēj ar augstu precizitāti identificēt jaunu nevēlamu saturu. Taču mašīnmācības modeļi tā nedarbojas. Algoritms, kas ir iemācījies atpazīt holokausta noliegšanu, nevar uzreiz pamanīt, piemēram, rohingu genocīda noliegšanu. Pirms mācīties to filtrēt, tas ir jāapmāca ar tūkstošiem, bieži pat miljoniem jauna veida satura piemēru. Pat tad lietotāji var ātri iemācīties pārspēt modeli, veicot tādas darbības kā, piemēram, mainot ziņas formulējumu vai aizstājot aizdedzinošas frāzes ar eifēmismiem, padarot savu ziņojumu AI nesalasāmu, bet cilvēkam tas joprojām ir acīmredzams. Šī iemesla dēļ jaunas sazvērestības teorijas var strauji izkļūt nekontrolējamas, un daļēji tāpēc, pat pēc tam, kad šāds saturs ir aizliegts, tā formas var pastāvēt uz platformas.

Savā New York Times profilā Šroepfers nosauca šos ierobežojumus uzņēmuma satura moderēšanas stratēģiju. Katru reizi, kad Šrēpfera kungs un viņa vairāk nekā 150 inženiertehniskie speciālisti rada A.I. risinājumi, kas apzīmē un izslāpē kaitīgos materiālus, jaunas un apšaubāmas ziņas, kuras A.I. sistēmas, kuras nekad iepriekš nav redzējušas, tiek parādītas un tādējādi netiek uztvertas, rakstīja Times. Tas nekad nenonāks līdz nullei, izdevumam sacīja Šrēpfers.

Tikmēr algoritmi, kas iesaka šo saturu, joprojām darbojas, lai palielinātu iesaisti. Tas nozīmē, ka katrs toksisks ieraksts, kas iziet no satura regulēšanas filtriem, tiks virzīts augstāk ziņu plūsmā un tiks reklamēts, lai sasniegtu lielāku auditoriju. Patiešām, a pētījums no Ņujorkas universitātes nesen atklāja, ka partizānu izdevēju Facebook lapās tie, kas regulāri publicēja politisku dezinformāciju, visvairāk iesaistījās pirms 2020. gada ASV prezidenta vēlēšanām un Kapitolija nemieriem. Tas mani iepriecināja, saka bijušais darbinieks, kurš no 2018. gada līdz 2019. gadam strādāja pie integritātes jautājumiem. Mēs [to] pilnībā atzinām, taču mēs joprojām palielinām iesaistīšanos.

Bet Quiñonero's SAIL komanda nestrādāja pie šīs problēmas. Tā kā Kaplans un Cukerbergs bažījas par konservatīvo atsvešināšanos, komanda joprojām koncentrējās uz neobjektivitāti. Un pat pēc tam, kad tā tika apvienota lielākā Atbildīgā AI komandā, tai nekad nebija pienākuma strādāt pie satura ieteikumu sistēmām, kas varētu ierobežot dezinformācijas izplatību. Tāpat nav neviena cita komanda, kā es apstiprināju pēc tam, kad Entins un cits pārstāvis man sniedza pilnu sarakstu ar visām citām Facebook iniciatīvām integritātes jautājumos — uzņēmuma vispārīgais termins problēmām, tostarp dezinformācija, naida runa un polarizācija.

Saistīts stāsts

Es sāku raudāt: Timnit Gebru pēdējās dienas darbā Google — un kas notiks tālāk .

Facebook pārstāvis sacīja: darbu neveic viena konkrēta komanda, jo uzņēmums nedarbojas tā. Tā vietā tā tiek izplatīta starp komandām, kurām ir īpašas zināšanas, lai novērstu to, kā satura ranžēšana ietekmē dezinformāciju viņu platformas daļā, viņa sacīja. Bet Šrēpfers man kādā agrākā intervijā teica tieši pretējo. Es viņam jautāju, kāpēc viņš ir izveidojis centralizētu atbildīgu AI komandu, nevis vadījis esošās komandas, lai panāktu progresu šajā jautājumā. Viņš teica, ka tā ir labākā prakse uzņēmumā.

[Ja] tā ir svarīga joma, mums tajā ātri jāvirzās, tā nav precīzi definēta, [mēs izveidojam] īpašu komandu un iegūstam pareizo vadību, viņš teica. Apgabalam augot un nobriestot, jūs redzēsiet, ka produktu komandas uzņemsies vairāk darba, taču joprojām ir nepieciešama centrālā komanda, jo jums ir jāturpina strādāt ar vismodernākajiem darbiem.

Kad es aprakstīju Atbildīgās AI komandas darbu citiem AI ētikas un cilvēktiesību ekspertiem, viņi atzīmēja neatbilstību starp problēmām, kuras tā risināja, un tām, piemēram, dezinformāciju, ar kurām Facebook ir visvairāk bēdīgi slavens. Šķiet, ka tas ir tik dīvaini noņemts no Facebook kā produkta — lietas, ko Facebook veido, un jautājumi par ietekmi uz pasauli, ar ko Facebook saskaras, sacīja Rummans Čodhurijs, kura starta uzņēmums Paritāte , konsultē uzņēmumus par atbildīgu AI izmantošanu, un Twitter to iegādājās pēc mūsu intervijas. Es biju parādījis Chowdhury Quiñonero komandas dokumentāciju, kurā sīki aprakstīts tās darbs. Man šķiet pārsteidzoši, ka mēs runāsim par iekļaušanu, godīgumu, vienlīdzību, nevis runāsim par ļoti reālajām problēmām, kas notiek šodien, viņa teica.

Šķiet, ka “atbildīgais AI” ietvars ir pilnībā subjektīvs tam, par ko uzņēmums nolemj rūpēties. Tas ir tāpat kā: 'Mēs izdomāsim noteikumus un pēc tam tos ievērosim,' saka Ellerija Robertsa Bidla, bezpeļņas organizācijas Ranking Digital Rights redakcijas direktore, kas pēta tehnoloģiju uzņēmumu ietekmi uz cilvēktiesībām. Es pat nesaprotu, ko viņi domā, runājot par godīgumu. Vai viņi uzskata, ka ir godīgi ieteikt cilvēkiem pievienoties ekstrēmistu grupām, piemēram, tām, kas iebruka Kapitoliju? Ja visi saņem ieteikumu, vai tas nozīmē, ka tas bija godīgi?

Mēs atrodamies vietā, kur ir viens genocīds [Mjanma], uz kuru ANO ar daudziem pierādījumiem ir spējusi īpaši norādīt uz Facebook un veidu, kā platforma reklamē saturu, piebilst Bidls. Par cik lielākas likmes var palielināties?

Pēdējo divu gadu laikā Quiñonero komanda ir izstrādājusi Kloumann oriģinālo rīku ar nosaukumu Fairness Flow. Tas ļauj inženieriem izmērīt mašīnmācības modeļu precizitāti dažādām lietotāju grupām. Viņi var salīdzināt sejas noteikšanas modeļa precizitāti dažādos vecumos, dzimumos un ādas toņos vai runas atpazīšanas algoritma precizitāti dažādās valodās, dialektos un akcentos.

Fairness Flow ir iekļauta arī vadlīniju kopa, kas palīdz inženieriem saprast, ko nozīmē apmācīt godīgu modeli. Viena no sarežģītākajām problēmām, kas saistītas ar algoritmu godīgumu, ir tā, ka tādas pastāv dažādas godīguma definīcijas , kas var būt savstarpēji nesaderīgi. Fairness Flow ir uzskaitītas četras definīcijas, kuras inženieri var izmantot, pamatojoties uz to, kas vislabāk atbilst viņu mērķim, piemēram, vai runas atpazīšanas modelis atpazīst visus akcentus ar vienādu precizitāti vai ar minimālo precizitātes slieksni.

Taču godīguma algoritmu pārbaude joprojām lielākoties nav obligāta Facebook. Nevienai no komandām, kas strādā tieši Facebook ziņu plūsmā, reklāmu pakalpojumā vai citos produktos, tas nav jādara. Atalgojuma stimuli joprojām ir saistīti ar iesaistīšanās un izaugsmes rādītājiem. Un, lai gan ir vadlīnijas par to, kuru taisnīguma definīciju izmantot jebkurā situācijā, tās netiek īstenotas.

Šī pēdējā problēma izvirzījās priekšplānā, kad uzņēmumam bija jārisina apgalvojumi par pretkonservatīvo aizspriedumiem.

2014. gadā Kaplans tika paaugstināts no ASV politikas vadītāja par globālo viceprezidentu politikas jautājumos, un viņš sāka spēlēt smagāku lomu satura regulēšanā un lēmumiem par to, kā ranžēt ziņas lietotāju ziņu plūsmās. Pēc tam, kad 2016. gadā republikāņi sāka izteikt apgalvojumus par pretkonservatīvo aizspriedumiem, viņa komanda sāka manuāli pārskatīt dezinformācijas noteikšanas modeļu ietekmi uz lietotājiem, lai cita starpā nodrošinātu, ka tie nesamērīgi sodīja konservatīvos.

Visiem Facebook lietotājiem viņu profilam ir pievienotas aptuveni 200 iezīmes. Tie ietver dažādus lietotāju iesniegtus vai mašīnmācības modeļu aprēķinus, piemēram, rasi, politisko un reliģisko noslieci, sociāli ekonomisko klasi un izglītības līmeni. Kaplan komanda sāka izmantot šīs iezīmes, lai izveidotu pielāgotus lietotāju segmentus, kas atspoguļoja galvenokārt konservatīvas intereses: piemēram, lietotājus, kuri iesaistījās konservatīvā saturā, grupās un lapās. Pēc tam viņi veica īpašas analīzes, lai noskaidrotu, kā satura regulēšanas lēmumi ietekmēs ziņas no šiem segmentiem, norāda bijušais pētnieks, kura darbs tika pārskatīts.

Fairness Flow dokumentācijā, ko atbildīgā AI komanda rakstīja vēlāk, ir ietverta gadījuma izpēte par to, kā izmantot rīku šādā situācijā. Izlemjot, vai dezinformācijas modelis ir godīgs attiecībā uz politisko ideoloģiju, komanda rakstīja, godīgums to dara nē nozīmē, ka modelim vienlīdz jāietekmē konservatīvie un liberālie lietotāji. Ja konservatīvie publicē lielāku daļu dezinformācijas, kā spriež pēc sabiedrības vienprātības, tad modelim vajadzētu atzīmēt lielāku daļu no konservatīvā satura. Ja liberāļi publicē vairāk dezinformācijas, arī viņu saturs ir jāatzīmē biežāk.

Bet Kaplana komandas locekļi izmantoja tieši pretēju pieeju: godīgumu viņi uzskatīja, ka šiem modeļiem nevajadzētu ietekmēt konservatīvos vairāk nekā liberāļus. Kad modelis to izdarīja, viņi pārtrauca tā izvietošanu un pieprasīja izmaiņas. Reiz viņi bloķēja medicīniskās dezinformācijas detektoru, kas bija ievērojami samazinājis pretvakcīnas kampaņu sasniedzamību, man stāstīja bijušais pētnieks. Viņi teica pētniekiem, ka modeli nevar izmantot, kamēr komanda nav novērsusi šo neatbilstību. Bet tas faktiski padarīja modeli bezjēdzīgu. Tad nav jēgas, saka pētnieks. Tādā veidā modificētam modelim burtiski nebūtu nekādas ietekmes uz patieso dezinformācijas problēmu.

Es pat nesaprotu, ko viņi domā, runājot par godīgumu. Vai viņi uzskata, ka ir godīgi ieteikt cilvēkiem pievienoties ekstrēmistu grupām, piemēram, tām, kas iebruka Kapitoliju? Ja visi saņem ieteikumu, vai tas nozīmē, ka tas bija godīgi?

Ellery Roberts Biddle, Ranking Digital Rights redakcijas direktore

Tas notika neskaitāmas citas reizes — un ne tikai satura regulēšanai. 2020. gadā Washington Post ziņoja, ka Kaplana komanda ir mazinājusi centienus mazināt vēlēšanu iejaukšanos un polarizāciju Facebook, sakot, ka tie varētu veicināt pretkonservatīvo aizspriedumu veidošanos. 2018. gadā tā izmantoja to pašu argumentu, lai atliktu projektu Facebook ieteikumu modeļu rediģēšanai, lai gan pētnieki uzskatīja, ka tas mazinātu platformas šķelšanos. Wall Street Journal . Viņa apgalvojumi par politisko neobjektivitāti arī vājināja priekšlikumu rediģēt ziņu plūsmas reitinga modeļus, kas, pēc Facebook datu zinātnieku domām, stiprinātu platformu pret manipulācijas taktiku, ko Krievija izmantoja 2016. gada ASV vēlēšanu laikā.

Un pirms 2020. gada vēlēšanām Facebook politikas vadītāji izmantoja šo attaisnojumu, norāda New York Times , uzlikt veto vai vājināt vairākus priekšlikumus, kas būtu samazinājuši naidīga un kaitīga satura izplatību.

Facebook apstrīdēja Wall Street Journal ziņojumu sekošanas emuārs pastu un apstrīdēja New York Times raksturojumu intervijā izdevumam. Kaplana komandas pārstāvis man arī noliedza, ka tas būtu uzvedības modelis, sakot, ka Post, Journal un Times ziņotie gadījumi ir atsevišķi gadījumi, kas, mūsuprāt, pēc tam tiek nepareizi raksturoti. Viņš atteicās komentēt ierakstā esošo dezinformācijas modeļu pārkvalifikāciju.

Daudzi no šiem incidentiem notika pirms Fairness Flow pieņemšanas. Taču tie parāda, kā Facebook centieni pēc godīguma izaugsmes kalpošanā jau ir radījuši lielas izmaksas, lai virzītos uz priekšu platformas citos izaicinājumos. Un, ja inženieri izmantotu Kaplana komandas pieņemto godīguma definīciju, Fairness Flow varētu vienkārši sistematizēt uzvedību, kas atalgo par dezinformāciju, nevis palīdzētu ar to cīnīties.

Bieži vien visa godīguma lieta nonāca spēlē tikai kā ērts veids, kā saglabāt status quo, saka bijušais pētnieks: Šķiet, ka tas saskaras ar lietām, ko Marks teica publiski, runājot par godīgumu un taisnīgumu.

Pēdējo reizi es runāju ar Kvinjonero bija mēnesi pēc ASV Kapitolija nemieriem. Es gribēju zināt, kā Kongresa vētra ir ietekmējusi viņa domāšanu un viņa darba virzienu.

Videozvanā tas bija kā vienmēr: Kvinjonero iezvanīja no sava mājas biroja vienā logā, bet Entins, viņa PR apdarinātājs, citā. Es jautāju Kvinjonero, kādu lomu, viņaprāt, nemieros spēlējis Facebook un vai tas mainīja uzdevumu, ko viņš redzēja saistībā ar atbildīgo AI. Pēc ilgas pauzes viņš izvairījās no jautājuma, uzsākot nesenā darba aprakstu, ko viņš bija paveicis, lai veicinātu lielāku dažādību un iekļaušanu AI komandu vidū.

Es viņam vēlreiz uzdevu jautājumu. Viņa Facebook portāla kamera, kas izmanto datorredzes algoritmus, lai izsekotu runātājam, sāka lēnām tuvināt viņa seju, kad viņš kļuva nekustīgs. Es nezinu, vai man ir vienkārša atbilde uz šo jautājumu, Kārena, viņš teica. Tas ir ārkārtīgi grūts jautājums, ko man uzdot.

Entins, kurš strauji soļoja ar stoisku pokera seju, paķēra sarkanu stresa bumbu.

Es jautāju Kvinjonero, kāpēc viņa komanda iepriekš nav meklējusi veidus, kā rediģēt Facebook satura ranžēšanas modeļus, lai mazinātu dezinformāciju un ekstrēmismu. Viņš man teica, ka tas ir citu komandu darbs (lai gan, kā es apstiprināju, nevienai no tām nav pilnvarota strādāt ar šo uzdevumu). Viņš teica, ka Atbildīgajai AI komandai nav iespējams pašiem izpētīt visas šīs lietas. Kad es jautāju, vai viņš apsvērs, ka viņa komanda turpmāk risinās šos jautājumus, viņš neskaidri atzina, es jums piekritu, ka tas būs šāda veida sarunu apjoms.

Tuvojoties mūsu stundu ilgās intervijas beigām, viņš sāka uzsvērt, ka mākslīgais intelekts bieži tika negodīgi nosaukts par vainīgo. Neatkarīgi no tā, vai Facebook izmantoja mākslīgo intelektu vai nē, viņš teica, ka cilvēki joprojām izrunās melus un naida runu, un šis saturs joprojām izplatītos visā platformā.

Es piespiedu viņu vēl vienu reizi. Protams, viņš nespēja noticēt, ka algoritmi nav izdarījuši absolūti neko, lai mainītu šo problēmu būtību, es teicu.

Es nezinu, viņš teica, apstājoties stostīdamies. Tad viņš ar lielāku pārliecību atkārtoja: tā ir mana godīgā atbilde. Godīgs Dievam. es nezinu.

Labojumi: Mēs grozījām līniju, kas liecināja, ka Džoels Kaplans, Facebook globālās politikas viceprezidents, ir izmantojis godīguma plūsmu. Viņam nav. Taču viņa komandas locekļi ir izmantojuši godīguma jēdzienu, lai pieprasītu dezinformācijas modeļu pārkvalificēšanu tādos veidos, kas ir tiešā pretrunā Atbildīgā AI vadlīnijām. Mēs arī noskaidrojām, kad Rachad Alao, Responsible AI inženieru direktors , pievienojās uzņēmumam.