Facebook trauksmes cēlējs saka, ka tā algoritmi ir bīstami. Lūk, kāpēc.

Facebook ziņotāja Frānsisa Haugena sniedz liecību Senāta komitejas sēdē 5. oktobrī. Drū Angerers/Getty Images

Svētdienas vakarā galvenais avots par Wall Street Journal Facebook faili , izmeklēšanas sērija, kuras pamatā ir iekšējie Facebook dokumenti, atklāja viņas identitāti epizodē 60 minūtes .

Frānsisa Haugena, bijusī uzņēmuma produktu menedžere, saka, ka viņa nāca klajā pēc tam, kad viņa redzēja, ka Facebook vadība atkārtoti prioritizē peļņu, nevis drošību.

Pirms aiziešanas šā gada maijā viņa ķemmēja Facebook Workplace, uzņēmuma iekšējo darbinieku sociālo mediju tīklu, un apkopoja plašu iekšējo ziņojumu un pētījumu loku, cenšoties pārliecinoši pierādīt, ka Facebook ir apzināti izvēlējies neatrisināt problēmas savā tīklā. platforma.

Šodien viņa Senāta priekšā liecināja par Facebook ietekmi uz sabiedrību. Viņa atkārtoja daudzus iekšējā pētījuma atklājumus un aicināja Kongresu rīkoties.

Saistīts stāsts

Kā Facebook kļuva atkarīgs no dezinformācijas izplatīšanas

Uzņēmuma mākslīgā intelekta algoritmi deva tam nepiepildāmu ieradumu meliem un naida runai. Tagad cilvēks, kurš tos uzbūvēja, nevar atrisināt problēmu.

Es šodien esmu šeit, jo uzskatu, ka Facebook produkti kaitē bērniem, veicina šķelšanos un vājina mūsu demokrātiju, viņa sacīja savā atklāšanas paziņojumā likumdevējiem. Šīs problēmas ir atrisināmas. Ir iespējams drošāks, vārda brīvību cienošs un patīkamāks sociālais medijs. Bet ir viena lieta, ko es ceru, ka visi atņem no šīs informācijas izpaušanas, proti, Facebook var mainīties, bet acīmredzami netaisās to darīt pats.

Savas liecības laikā Haugens daudzās tā problēmās īpaši vainoja Facebook algoritmu un platformas dizaina lēmumus. Šī ir ievērojama pāreja no politikas veidotāju pašreizējās fokusa uz Facebook satura politiku un cenzūru — kas pieder un kas nepieder Facebook. Daudzi eksperti uzskata, ka šis šaurais skatījums noved pie dauzīt-a-mole stratēģijas, kas nepamana plašāku priekšstatu.

Es stingri iestājos par risinājumiem, kas nav balstīti uz saturu, jo šie risinājumi aizsargās visneaizsargātākos cilvēkus pasaulē, sacīja Haugens, norādot uz Facebook nevienmērīgo spēju īstenot savu satura politiku citās valodās, nevis angļu valodā.

Haugena liecība sasaucas ar daudziem atklājumiem no MIT tehnoloģiju pārskata izmeklēšana publicēts šī gada sākumā, un tajā tika izmantotas desmitiem interviju ar Facebook vadītājiem, esošajiem un bijušajiem darbiniekiem, nozares vienaudžiem un ārējiem ekspertiem. Mēs apkopojām visatbilstošākās mūsu izmeklēšanas un citu ziņojumu daļas, lai sniegtu Haugena liecībai plašāku kontekstu.

Kā darbojas Facebook algoritms?

Sarunvalodā mēs lietojam terminu Facebook algoritms tā, it kā tas būtu tikai viens. Faktiski Facebook izlemj, kā atlasīt reklāmu mērķauditoriju un ranžēt saturu, pamatojoties uz simtiem, iespējams, tūkstošiem algoritmu. Daži no šiem algoritmiem ķircina lietotāja preferences un palielina šāda veida saturu lietotāja ziņu plūsmā. Citi ir paredzēti noteikta veida slikta satura noteikšanai, piemēram, kailuma attēlojuma, surogātpasta vai klikšķēsmas virsrakstu noteikšanai un to dzēšanai vai nobīdīšanai plūsmā.

Visi šie algoritmi ir pazīstami kā mašīnmācīšanās algoritmi. Kā es rakstīja šī gada sākumā :

Atšķirībā no tradicionālajiem algoritmiem, kurus inženieri ir stingri iekodējuši, mašīnmācības algoritmi apmāca ievades datus, lai uzzinātu tajos esošās korelācijas. Apmācītais algoritms, kas pazīstams kā mašīnmācības modelis, pēc tam var automatizēt turpmākos lēmumus. Piemēram, algoritms, kas apmācīts uz reklāmu klikšķu datiem, var uzzināt, ka sievietes biežāk nekā vīrieši noklikšķina uz jogas legingiem. Rezultātā iegūtais modelis rādīs vairāk šo reklāmu sievietēm.

Tā kā Facebook ir milzīgs lietotāju datu apjoms, tas ir iespējams

izstrādāt modeļus, kas iemācījās secināt, ka pastāv ne tikai plašas kategorijas, piemēram, sievietes un vīrieši, bet arī ļoti smalkas kategorijas, piemēram, sievietes vecumā no 25 līdz 34 gadiem, kurām patika ar jogu saistītas Facebook lapas, un [mērķa] reklāmas viņiem. Jo precīzāka ir mērķauditorijas atlase, jo lielāka iespēja saņemt klikšķi, kas reklāmdevējiem sniegtu lielāku peļņu.

Tie paši principi attiecas uz satura ranžēšanu ziņu plūsmā:

Tāpat kā algoritmus [var] apmācīt paredzēt, kurš uz kādas reklāmas noklikšķinās, tos [var] apmācīt arī paredzēt, kurš kādu ziņu vēlētos vai kopīgot, un pēc tam piešķirt šīm ziņām lielāku nozīmi. Ja modelis nosaka, ka, piemēram, kādam cilvēkam ļoti patīk suņi, draugu ziņas par suņiem šī lietotāja ziņu plūsmā tiktu rādītas augstāk.

Pirms Facebook sāka izmantot mašīnmācības algoritmus, komandas izmantoja dizaina taktiku, lai palielinātu iesaistīšanos. Viņi eksperimentētu ar tādām lietām kā pogas krāsa vai paziņojumu biežums, lai lietotāji atgrieztos platformā. Taču mašīnmācības algoritmi rada daudz jaudīgāku atgriezeniskās saites cilpu. Viņi ne tikai var personalizēt to, ko redz katrs lietotājs, bet arī turpinās attīstīties, mainoties lietotāja preferencēm, pastāvīgi parādot katrai personai, kas viņus visvairāk piesaistīs.

Kas vada Facebook algoritmu?

Facebook nav nevienas komandas, kas būtu atbildīga par šo satura ranžēšanas sistēmu kopumā. Inženieri izstrādā un pievieno savus mašīnmācības modeļus, pamatojoties uz viņu komandas mērķiem. Piemēram, komandas, kas koncentrējas uz slikta satura noņemšanu vai pazemināšanu, kas pazīstamas kā integritātes komandas, apmācīs tikai modeļus dažāda veida slikta satura noteikšanai.

Šis bija lēmums, ko Facebook pieņēma jau agri, cenšoties ātri virzīties uz priekšu un lauzt lietas. Tā izstrādāja iekšējo rīku, kas pazīstams kā FBLearner plūsma kas ļāva inženieriem bez mašīnmācīšanās pieredzes viegli izstrādāt visus nepieciešamos modeļus. Pēc viena datu punkta 2016. gadā to jau izmantoja vairāk nekā ceturtā daļa Facebook inženieru komandas.

Saistīts stāsts

Viņa riskēja ar visu, lai atklātu Facebook. Tagad viņa stāsta savu stāstu.

Sofija Džana, bijusī Facebook datu zinātniece, atklāja, ka tas ļauj veikt globālas politiskās manipulācijas un ir maz darījis, lai tās apturētu.

Daudzi pašreizējie un bijušie Facebook darbinieki, ar kuriem esmu runājis, saka, ka tas ir daļa no tā, kāpēc Facebook, šķiet, nevar saprast, ko tas sniedz lietotājiem ziņu plūsmā. Dažādām komandām var būt konkurējoši mērķi, un sistēma ir kļuvusi tik sarežģīta un smagnēja, ka neviens vairs nevar izsekot visiem tās dažādajiem komponentiem.

Tā rezultātā uzņēmuma galvenais kvalitātes kontroles process ir eksperimentēšana un mērījumi. Kā es rakstīju:

Komandas apmāca jaunu mašīnmācības modeli pakalpojumā FBLearner, lai mainītu ziņu secību vai labāk uztvertu saturu, kas pārkāpj Facebook kopienas standartus (noteikumus par to, kas ir un kas nav atļauts platformā). Pēc tam viņi testē jauno modeli nelielā Facebook lietotāju apakškopā, lai noteiktu, kā tas maina iesaistes rādītājus, piemēram, atzīmju Patīk, komentāru un kopīgošanas skaitu, saka Krišna Geida, kas no 2016. līdz 2018. gadam strādāja par ziņu plūsmas inženieru vadītāju. .

Ja modelis pārāk daudz samazina iesaistīšanos, tas tiek atmests. Pretējā gadījumā tas tiek izvietots un pastāvīgi uzraudzīts. Tviterī, Gade paskaidroja ka viņa inženieri ik pēc dažām dienām saņems paziņojumus, ja tādi rādītāji kā atzīmes Patīk vai komentāri ir samazinājušies. Pēc tam viņi atšifrēja, kas izraisīja problēmu un vai kādam modelim ir nepieciešama pārkvalifikācija.

Kā Facebook satura rangs ir veicinājis dezinformācijas un naida runas izplatību?

Savas liecības laikā Haugens vairākkārt atgriezās pie domas, ka Facebook algoritms veicina dezinformāciju, naida runu un pat etnisku vardarbību.

Facebook … zina — viņi ir publiski atzinuši — ka uz iesaistīšanos balstīta klasifikācija ir bīstama bez integritātes un drošības sistēmām, bet pēc tam nav ieviesusi šīs integritātes un drošības sistēmas lielākajā daļā pasaules valodu, viņa šodien sacīja Senātā. Tas šķir ģimenes. Un tādās vietās kā Etiopija burtiski veicina etnisko vardarbību.

Lūk, ko es par to rakstīju iepriekš:

Mašīnmācīšanās modeļi, kas palielina iesaistīšanos, arī dod priekšroku strīdiem, dezinformācijai un ekstrēmismam: vienkāršiem vārdiem sakot, cilvēkiem patīk nežēlīgs saturs.

Dažreiz tas saasina esošo politisko spriedzi. Līdz šim postošākais piemērs ir Mjanmas gadījums, kur virkne viltus ziņu un naida runas par Rohingya musulmaņu mazākumtautību pārvērš valsts reliģisko konfliktu līdz pilnīgam genocīdam. Facebook 2018. gadā pēc gadiem ilgas savas lomas mazināšanas atzina, ka nav darījis pietiekami daudz, lai novērstu mūsu platformas izmantošanu šķelšanās veicināšanai un bezsaistes vardarbības kūdīšanai.

Kā minēja Haugens, arī Facebook to jau kādu laiku zina. Iepriekšējie ziņojumi liecina, ka šī parādība ir pētīta vismaz kopš 2016. gada.

Tā gada iekšējā prezentācijā, ko pārskatīja Wall Street Journal , uzņēmuma pētniece Monika Lī atklāja, ka Facebook ne tikai mitina lielu skaitu ekstrēmistu grupu, bet arī reklamēja tās saviem lietotājiem: 64% no visiem ekstrēmistu grupu pievienošanās gadījumiem ir saistīti ar mūsu ieteikumu rīkiem, teikts prezentācijā, galvenokārt pateicoties modeļi, kas ir aiz funkcijām Grupas, kurām jums vajadzētu pievienoties un Atklājiet.

2017. gadā Kriss Kokss, Facebook ilggadējais produktu galvenais vadītājs, izveidoja jaunu darba grupu, lai saprastu, vai lietotāju iesaistīšanās Facebook veicināšanā veicina politisko polarizāciju. Tas atklāja, ka patiešām pastāv korelācija un ka polarizācijas samazināšana nozīmētu saderināšanās ietekmi. 2018. gada vidū žurnālā izskatītajā dokumentā darba grupa ierosināja vairākus iespējamos labojumus, piemēram, ieteikumu algoritmu pielāgošanu, lai cilvēkiem ieteiktu daudzveidīgāku grupu klāstu. Taču tā atzina, ka dažas idejas bija pret izaugsmi. Lielākā daļa priekšlikumu netika virzīti uz priekšu, un darba grupa izformēja.

Manās sarunās Facebook darbinieki arī apstiprināja šos secinājumus.

Bijušais Facebook AI pētnieks, kurš pievienojās 2018. gadā, saka, ka viņš un viņa komanda veica pētījumu pēc pētījuma, apstiprinot vienu un to pašu pamatideju: modeļi, kas maksimāli palielina iesaistīšanos, palielina polarizāciju. Viņi varēja viegli izsekot, cik stingri lietotāji piekrita vai nepiekrita dažādiem jautājumiem, ar kādu saturu viņiem patika mijiedarboties un kā tā rezultātā mainījās viņu nostāja. Neatkarīgi no problēmas modeļi iemācījās pabarot lietotājiem arvien ekstrēmākus viedokļus. Laika gaitā tie ievērojami kļūst polarizētāki, viņš saka.

Saistīts stāsts

Sacensības, lai izprastu aizraujošo, bīstamo valodu AI pasauli

Simtiem zinātnieku visā pasaulē strādā kopā, lai izprastu vienu no jaudīgākajām jaunajām tehnoloģijām, pirms ir par vēlu.

Savā liecībā Haugena arī vairākkārt uzsvēra, ka šīs parādības ir daudz sliktākas reģionos, kur nerunā angliski, jo Facebook nevienmērīgi pārklāj dažādas valodas.

Etiopijā ir 100 miljoni cilvēku un sešas valodas. Viņa teica, ka Facebook atbalsta tikai divas no šīm valodām integritātes sistēmām. Šī stratēģija, kas koncentrējas uz valodai specifiskām un saturam specifiskām sistēmām, lai AI mūs glābtu, ir lemta neveiksmei.

Viņa turpināja: Tātad investīcijas veidos, kas nav balstīti uz saturu, lai palēninātu platformas darbību, ne tikai aizsargā mūsu vārda brīvību, bet arī aizsargā cilvēku dzīvības.

Es to vairāk izpētu citā rakstā no šī gada sākuma par ierobežojumiem lieli valodu modeļi vai LLM:

Neskatoties uz to, ka LLM ir šīs valodas nepilnības, Facebook lielā mērā paļaujas uz tiem, lai automatizētu satura regulēšanu visā pasaulē. Kad novembrī pirmo reizi izcēlās karš Tigrejā [Etiopijā], [AI ētikas pētnieks Timnits] Gebru pamanīja, ka platforma slējās, lai tiktu galā ar dezinformācijas gūzmu. Tas simbolizē pastāvīgu modeli, ko pētnieki ir novērojuši satura mērenībā. Visnaidīgākās digitālās vides cieš kopienas, kuras runā valodās, kuras Silīcija ieleja nav norādījusi par prioritāti.

Gebru atzīmēja, ka ar to arī nebeidzas kaitējums. Ja viltus ziņas, naida runa un pat nāves draudi netiek moderēti, tie tiek nokopti kā apmācības dati, lai izveidotu nākamās paaudzes LLM. Un šie modeļi, atgriežot to, uz ko viņi ir apmācīti, galu galā atgrūž šos toksiskos lingvistiskos modeļus internetā.

Kā Facebook satura rangs ir saistīts ar pusaudžu garīgo veselību?

Viena no šokējošākajām atklāsmēm no Journal’s Facebook Files bija Instagram iekšējais pētījums, kurā atklājās, ka tā platforma pasliktina pusaudžu meiteņu garīgo veselību. Trīsdesmit divi procenti pusaudžu meiteņu teica, ka tad, kad viņas jūtas slikti par savu ķermeni, Instagram lika viņām justies sliktāk, pētnieki rakstīja 2020. gada marta slaidprezentācijā.

Haugens šo fenomenu saista arī ar uz iesaistīšanos balstītām vērtēšanas sistēmām, kuras, viņasprāt, šodien Senātā pavēstīja, ka pusaudži tiek pakļauti lielākam anoreksijas saturam.

Ja Instagram ir tik pozitīvs spēks, vai pēdējo 10 gadu laikā esam redzējuši pusaudžu garīgās veselības zelta laikmetu? Nē, mēs esam redzējuši pieaugošu pašnāvību un depresijas gadījumu skaitu pusaudžu vidū, viņa turpināja. Ir daudz pētījumu, kas atbalsta domu, ka sociālo mediju izmantošana pastiprina šo garīgās veselības kaitējuma risku.

Savā ziņojumā es dzirdēju no bijušā AI pētnieka, kurš arī redzēja, ka šī ietekme attiecas uz Facebook.

Pētnieku komanda atklāja, ka lietotāji, kuriem ir tendence publicēt melanholisku saturu vai iesaistīties ar to, kas ir iespējama depresijas pazīme, var viegli patērēt arvien negatīvākus materiālus, kas var vēl vairāk pasliktināt viņu garīgo veselību.

Bet, tāpat kā Haugena gadījumā, pētnieks atklāja, ka vadība nebija ieinteresēta veikt fundamentālas algoritmiskas izmaiņas.

Komanda ierosināja pielāgot satura ranžēšanas modeļus šiem lietotājiem, lai pārtrauktu tikai maksimizētu iesaistīšanos, lai viņiem tiktu rādītas mazāk nomācošās lietas. Jautājums vadībai bija šāds: vai mums vajadzētu optimizēt iesaistīšanos, ja atklājat, ka kāds ir neaizsargātā prāta stāvoklī? viņš atceras.

Bet jebkas, kas mazināja iesaistīšanos, pat tādu iemeslu dēļ, kā, piemēram, lai nepasliktinātu kāda cilvēka depresiju, izraisīja lielu domstarpību un domstarpības starp vadību. Ar saviem darbības pārskatiem un algām, kas bija piesaistītas veiksmīgai projektu pabeigšanai, darbinieki ātri iemācījās atteikties no tiem, kas saņēma atgrūšanu, un turpināt strādāt pie tiem, kas tika diktēti no augšas uz leju.

Tikmēr bijušais darbinieks vairs neļauj meitai izmantot Facebook.

Kā mēs to labosim?

Haugens ir pret Facebook sadalīšanu vai ASV Komunikāciju pieklājības likuma 230. panta atcelšanu, kas aizsargā tehnoloģiju platformas no atbildības par tās izplatīto saturu.

Tā vietā viņa iesaka 230. sadaļā noteikt mērķtiecīgāku izņēmumu algoritmiskajam ranžējumam, kas, pēc viņas domām, atbrīvotos no ranžēšanas, kuras pamatā ir iesaistīšanās. Viņa arī iestājas par atgriešanos pie Facebook hronoloģiskās ziņu plūsmas.

Saistīts stāsts

Pārskats: Kāpēc Facebook nekad nevar sevi salabot

Grāmatā An Ugly Truth reportieres Šīra Frenkela un Sesīlija Kanga atklāj Facebook būtiskos trūkumus, detalizēti aprakstot tā gadus starp divām ASV vēlēšanām.

Ellery Roberts Biddle, bezpeļņas organizācijas Ranking Digital Rights projektu direktore, kas pēta sociālo mediju ranžēšanas sistēmas un to ietekmi uz cilvēktiesībām, saka, ka 230. sadaļas izņēmums būtu rūpīgi jāpārbauda: es domāju, ka tam būtu šaura nozīme. Es nedomāju, ka tas pilnībā sasniegtu to, uz ko mēs varētu cerēt.

Lai šādu izņēmumu varētu īstenot, viņa saka, politikas veidotājiem un sabiedrībai vajadzētu būt daudz lielākai pārskatāmībai par to, kā Facebook reklāmu mērķauditorijas atlases un satura ranžēšanas sistēmas pat darbojas. Es saprotu Haugena nodomu — tam ir jēga, viņa saka. Bet tas ir grūts. Mēs vēl neesam atbildējuši uz jautājumu par algoritmu pārredzamību. Ir vēl daudz darāmā.

Neskatoties uz to, Haugena atklājumi un liecības ir pievērsušas jaunu uzmanību tam, ko daudzi eksperti un Facebook darbinieki ir teikuši gadiem ilgi: ja Facebook nemainīs savu algoritmu fundamentālo dizainu, tas neradīs būtisku ietekmi platformas problēmās.

Viņas iejaukšanās arī rada izredzes, ka, ja Facebook nevarēs sakārtot savu māju, politikas veidotāji var piespiest šo problēmu.

Kongress var mainīt noteikumus, ar kuriem Facebook spēlē, un apturēt daudzo kaitējumu, ko tas tagad rada, Senātam sacīja Haugens. Es izteicos ar lielu personisku risku, jo uzskatu, ka mums vēl ir laiks rīkoties, taču mums ir jārīkojas tagad.

paslēpties