Sacensības, lai izprastu aizraujošo, bīstamo valodu AI pasauli

Ariels Deiviss

18. maijā Google izpilddirektors Sundars Pichai paziņoja par iespaidīgu jaunu rīku: AI sistēmu ar nosaukumu LaMDA, kas var tērzēt ar lietotājiem par jebkuru tēmu.

Sākumā Google plāno integrēt LaMDA savā galvenajā meklēšanas portālā, balss palīgā un Workplace — mākoņa darba programmatūras kolekcijā, kurā ietilpst Gmail, Dokumenti un Disks. Taču iespējamais mērķis, sacīja Pichai, ir izveidot sarunvalodas saskarni, kas ļauj cilvēkiem izgūt jebkāda veida informāciju — tekstu, vizuālo, audio — visos Google produktos, tikai jautājot.

LaMDA ieviešana liecina par vēl vienu veidu, kā valodu tehnoloģijas tiek iekļautas mūsu ikdienas dzīvē. Taču Google spilgtā prezentācija atspēkoja ētiskās debates, kas tagad ieskauj šādas progresīvās sistēmas. LaMDA ir tas, kas pazīstams kā lielas valodas modelis (LLM) — padziļinātas mācīšanās algoritms, kas apmācīts, izmantojot milzīgu daudzumu teksta datu.

Pētījumi jau ir parādījuši, kā šajos modeļos ir iestrādātas rasistiskas, seksistiskas un aizskarošas idejas. Viņi saista tādas kategorijas kā ārsti ar vīriešiem un medmāsas ar sievietēm; labie vārdi ar baltajiem un sliktie ar melnajiem. Izpētiet viņus ar pareizajām uzvednēm, un viņi arī sāk mudināt tādas lietas kā genocīds , sevis savainošana , un bērnu seksuāla vardarbība . To izmēra dēļ tiem ir a šokējoši augsts oglekļa pēdas nospiedums . Savas plūduma dēļ viņi viegli sajaukt cilvēkus Cilvēks raksta savus rezultātus, un eksperti brīdina, ka tas var veicināt dezinformācijas masveida ražošanu.

Decembrī Google atcēla savu ētisko mākslīgā intelekta vadītāju Timnitu Gebru pēc tam viņa atteicās ievelciet papīru kas noteica daudzus no šiem punktiem. Dažus mēnešus vēlāk pēc plašas Google darbinieku atklātās vēstules nosodīšanas par uzņēmuma bezprecedenta pētniecības cenzūru, tā atlaida arī Gebru līdzautori un līdzstrādnieci Mārgaretu Mičelu.

Šo tehnoloģiju ievieš ne tikai Google. Augstākā līmeņa valodu modeļi līdz šim ir bijuši OpenAI GPT-2 un GPT-3 , kas izspiež pārsteidzoši pārliecinošas teksta daļas, un tos var pat izmantot, lai pabeigtu mūzikas skaņdarbus un datora kodu. Tagad tikai Microsoft licences GPT-3 iekļaut vēl neizziņotos produktos. Facebook ir izstrādājis savus LLM tulkošanai un satura regulēšanai. Un jaunizveidotie uzņēmumi rada desmitiem produktu un pakalpojumu, pamatojoties uz tehnoloģiju gigantu modeļiem. Drīzumā visa mūsu digitālā mijiedarbība — kad sūtām e-pastu, meklējam vai publicējam saturu sociālajos saziņas līdzekļos — tiks filtrēta, izmantojot LLM.

Diemžēl tiek veikts ļoti maz pētījumu, lai saprastu, kā šīs tehnoloģijas trūkumi varētu ietekmēt cilvēkus reālajā pasaulē, vai lai noskaidrotu, kā izveidot labākus LLM, kas mazinātu šīs problēmas. Kā Google uzsvēra savā attieksmē pret Gebru un Mitchell, daži uzņēmumi, kas ir pietiekami bagāti, lai apmācītu un uzturētu LLM, ir ļoti finansiāli ieinteresēti atteikties tos rūpīgi pārbaudīt. Citiem vārdiem sakot, LLM arvien vairāk tiek integrēti interneta lingvistiskajā infrastruktūrā uz nestabiliem zinātniskiem pamatiem.

Vairāk nekā 500 pētnieku visā pasaulē šobrīd sacenšas, lai uzzinātu vairāk par šo modeļu iespējām un ierobežojumiem. Strādājot kopā zem projekts BigScience Huggingface, jaunuzņēmumu, kas izmanto atvērtas zinātnes pieeju, lai izprastu dabiskās valodas apstrādi (NLP), vadībā viņi cenšas izveidot atvērtā pirmkoda LLM, kas kalpos kā kopīgs resurss zinātnieku aprindām. Mērķis ir vienā koncentrētā gadā radīt pēc iespējas vairāk stipendiju. Viņu galvenais jautājums: kā un kad LLM būtu jāizstrādā un jāizvieto, lai gūtu labumu bez kaitīgām sekām?

Mēs īsti nevaram apturēt šo neprātu ap lieliem valodu modeļiem, kur visi vēlas tos apmācīt, saka Tomass Volfs, Huggingface galvenais zinātnes darbinieks, kurš ir viens no iniciatīvas vadītājiem. Bet tas, ko mēs varam darīt, ir mēģināt virzīt to virzienā, kas galu galā ir izdevīgāks.

Stohastiskie papagaiļi

Tajā pašā mēnesī, kad BigScience uzsāka savu darbību, jaunuzņēmums Cohere klusi izgāja no slepenības. To uzsāka bijušie Google pētnieki, un tas sola nodrošināt LLM jebkuram uzņēmumam, kas to vēlas, — ar vienu koda rindiņu. Tā ir izstrādājusi paņēmienu, kā apmācīt un mitināt savu modeli ar dīkstāvē esošiem skaitļošanas resursiem datu centrā, kas samazina uzturēšanai un izvietošanai nepieciešamās mākoņa telpas nomas izmaksas.

Starp tās pirmajiem klientiem ir starta uzņēmums Ir Atbalsts , platforma bezkoda klientu atbalsta tērzēšanas robotu izveidei, kurai pašai ir tādi klienti kā Facebook un Zoom. Un Cohere investoru sarakstā ir daži no lielākajiem nosaukumiem šajā jomā: datorredzes pionieris Fei-Fei Li, Tjūringa balvas ieguvējs Džefrijs Hintons un Apple AI vadītājs Ians Gudfelovs.

Cohere ir viens no vairākiem jaunizveidotiem uzņēmumiem un iniciatīvām, kas tagad cenšas piesaistīt LLM dažādās nozarēs. Ir arī Aleph Alpha, Vācijā bāzēts jaunuzņēmums, kas vēlas veidot vācu GPT-3 ; nenosaukts uzņēmums, kuru uzsāka vairāki bijušie OpenAI pētnieki; un atvērtā pirmkoda iniciatīva Eleuther, kas nesen palaists GPT-Neo , bezmaksas (un nedaudz mazāk jaudīga) GPT-3 reprodukcija.

Taču plaisa starp LLM un to, uz ko viņi tiecas būt, ir satraukusi arvien lielāku skaitu pētnieku. LLM faktiski ir pasaulē jaudīgākās automātiskās pabeigšanas tehnoloģijas. Apgūstot miljoniem teikumu, rindkopu un pat dialoga paraugus, viņi apgūst statistikas modeļus, kas nosaka, kā katrs no šiem elementiem ir jāsaliek saprātīgā secībā. Tas nozīmē, ka LLM var uzlabot noteiktas darbības: piemēram, tie ir piemēroti, lai izveidotu interaktīvākus un sarunvalodīgākus tērzēšanas robotus. kas atbilst vispāratzītam scenārijam . Bet viņi patiesībā nesaprot, ko viņi lasa vai saka. Daudzas no vismodernākajām LLM iespējām mūsdienās ir pieejamas tikai angļu valodā.

Saistīts stāsts

Mēs lasījām rakstu, kas lika Timnitam Gebru atteikties no Google. Lūk, kas tajā teikts.

Uzņēmuma zvaigznes ētikas pētnieks uzsvēra lielo valodu modeļu riskus, kas ir Google biznesa atslēga.

Cita starpā par to brīdināja Gebru, Mičels un pieci citi zinātnieki savā rakstā, kurā LLMs tiek dēvētas par stohastiskiem papagaiļiem. Valodu tehnoloģija var būt ļoti, ļoti noderīga, ja tā ir atbilstoši aptverta, novietota un ierāmēta, saka Emīlija Benders, Vašingtonas universitātes valodniecības profesore un viena no darba līdzautorēm. Taču LLM vispārīgais raksturs un to mīmikas pārliecinošā būtība mudina uzņēmumus tos izmantot jomās, kurām tie ne vienmēr ir aprīkoti.

Nesenā galvenajā uzrunā vienā no lielākajām AI konferencēm Gebru saistīja šo pārsteidzīgo LLM izvietošanu ar sekām, ko viņa piedzīvoja savā dzīvē. Gebru dzimis un audzis Etiopijā, kur eskalējošs karš ir izpostījis vistālāk uz ziemeļiem esošo Tigrejas reģionu. Etiopija ir arī valsts, kurā runā 86 valodās, un gandrīz visas no tām nav iekļautas galvenajās valodu tehnoloģijās.

Neskatoties uz to, ka LLM ir šīs valodas nepilnības, Facebook lielā mērā paļaujas uz tiem, lai automatizētu satura regulēšanu visā pasaulē. Kad novembrī pirmo reizi sākās karš Tigrejā, Gebru pamanīja, ka platforma plekstēja, lai tiktu galā ar dezinformācijas gūzmu. Tas simbolizē pastāvīgu modeli, ko pētnieki ir novērojuši satura mērenībā. Kopienas, kas runāt valodās Silikona ieleja nav norādījusi par prioritāti, cieš no visnaidīgākajām digitālajām vidēm.

Gebru atzīmēja, ka ar to arī nebeidzas kaitējums. Ja viltus ziņas, naida runa un pat nāves draudi netiek moderēti, tie tiek nokopti kā apmācības dati, lai izveidotu nākamās paaudzes LLM. Un šie modeļi, atgriežot to, uz ko viņi ir apmācīti, galu galā atgrūž šos toksiskos lingvistiskos modeļus internetā.

Daudzos gadījumos pētnieki nav pietiekami rūpīgi izpētījuši, lai zinātu, kā šī toksicitāte var izpausties pakārtotajos lietojumos. Bet kaut kāda stipendija pastāv. Savā 2018. gada grāmatā Apspiešanas algoritmi , Safiya Noble, informācijas un afroamerikāņu pētījumu asociētā profesore Kalifornijas Universitātē Losandželosā, dokumentēja, kā Google meklēšanā iestrādātie aizspriedumi turpina rasismu un ārkārtējos gadījumos, iespējams, pat motivē rasu vardarbību.

Viņa saka, ka sekas ir diezgan smagas un nozīmīgas. Google nav tikai primārais zināšanu portāls vidusmēra iedzīvotājiem. Tas arī nodrošina informācijas infrastruktūru iestādēm, universitātēm un štatu un federālajām valdībām.

Google jau izmanto LLM, lai optimizētu dažus savus meklēšanas rezultātus. Ar savu jaunāko paziņojumu par LaMDA un nesens priekšlikums tas tika publicēts iepriekš drukātā izdevumā, uzņēmums ir skaidri norādījis, ka tas tikai palielinās savu paļaušanos uz tehnoloģiju. Cēlās bažas, ka tas varētu padarīt viņas atklātās problēmas vēl sliktākas: faktam, ka Google ētiskā AI komanda tika atlaista par ļoti svarīgu jautājumu izvirzīšanu par rasistiskiem un seksistiskiem diskriminācijas modeļiem, kas iestrādāti lielos valodu modeļos, vajadzēja būt trauksmes zvanam.

BigScience

BigScience projekts sākās, tieši reaģējot uz pieaugošo vajadzību pēc LLM zinātniskās pārbaudes. Vērojot tehnoloģiju straujo izplatību un Google mēģinājumus cenzēt Gebru un Mičelu, Vilks un vairāki kolēģi saprata, ka ir pienācis laiks pētnieku kopienai pārņemt lietas savās rokās.

Iedvesmojoties no atklātas zinātniskas sadarbības, piemēram, CERN daļiņu fizikā, viņi radīja ideju par atvērtā pirmkoda LLM, ko varētu izmantot, lai veiktu kritiskus pētījumus neatkarīgi no jebkura uzņēmuma. Šī gada aprīlī grupa saņēma dotāciju, lai to izveidotu, izmantojot Francijas valdības superdatoru.

Tehnoloģiju uzņēmumos LLM bieži vien veido tikai pusducis cilvēku, kuriem galvenokārt ir tehniskās zināšanas. BigScience vēlējās piesaistīt simtiem pētnieku no dažādām valstīm un disciplīnām, lai viņi piedalītos patiesi sadarbības modeļa veidošanas procesā. Vilks, kurš ir francūzis, vispirms vērsās pie franču NLP kopienas. No turienes iniciatīva pārauga globālā operācijā, kurā piedalījās vairāk nekā 500 cilvēku.

Sadarbība tagad ir brīvi sadalīta duci darba grupās un tiek skaitīta, katra risina dažādus modeļa izstrādes un izmeklēšanas aspektus. Viena grupa novērtēs modeļa ietekmi uz vidi, tostarp oglekļa pēdas nospiedumu apmācībā un LLM vadīšanā, kā arī superdatora dzīves cikla izmaksu iekļaušanu. Cits koncentrēsies uz atbildīgu apmācību datu iegūšanas veidu izstrādi — meklējot alternatīvas vienkāršai datu izskrāpēšanai no tīmekļa, piemēram, vēsturisko radio arhīvu vai aplādes pārrakstīšanai. Mērķis ir izvairīties no toksiskas valodas un privātas informācijas bezspēcīgas vākšanas.

Saistīts stāsts

Kāpēc GPT-3 šobrīd ir labākais un sliktākais AI?

Atvērtā mākslīgā intelekta valoda AI pārsteidza sabiedrību ar acīmredzamo angļu valodas prasmi, bet vai tas viss ir ilūzija?

Citas darba grupas ir veltītas modeļa daudzvalodības izstrādei un izvērtēšanai. Lai sāktu, BigScience ir atlasījis astoņas valodas vai valodu grupas, tostarp angļu, ķīniešu, arābu, indiešu (tostarp hindi un urdu) un bantu (tostarp svahili). Plāns ir cieši sadarboties ar katru valodu kopienu, lai noteiktu pēc iespējas vairāk tās reģionālo dialektu un nodrošinātu, ka tiek ievērotas tās atšķirīgās datu privātuma normas. Mēs vēlamies, lai cilvēki varētu ietekmēt to, kā tiek izmantoti viņu dati, saka Yacine Jernite, Huggingface pētniece.

Lieta nav veidot komerciāli dzīvotspējīgu LLM, lai konkurētu ar tādiem kā GPT-3 vai LaMDA. Modelis būs pārāk liels un pārāk lēns, lai tas būtu noderīgs uzņēmumiem, saka Karens Forts, Sorbonnas asociētais profesors. Tā vietā resurss ir paredzēts tikai pētniecībai. Katrs datu punkts un katrs modelēšanas lēmums tiek rūpīgi un publiski dokumentēts, tāpēc ir vieglāk analizēt, kā visas daļas ietekmē modeļa rezultātus. Tas nav tikai gala produkta piegāde, saka Angela Fan, Facebook pētniece. Mēs ikvienu tā daļu uzskatām par piegādes punktu, kā artefaktu.

Projekts neapšaubāmi ir vērienīgs — globāli plašāks un uz sadarbību vērstāks nekā jebkad agrāk AI kopiena. Tik daudzu pētnieku koordinēšanas loģistika pati par sevi ir izaicinājums. (Patiesībā tam ir arī darba grupa.) Turklāt katrs pētnieks sniedz savu ieguldījumu brīvprātīgi. Francijas valdības dotācija attiecas tikai uz skaitļošanas, nevis cilvēkresursiem.

Taču pētnieki saka, ka kopīgā vajadzība, kas apvienoja sabiedrību, ir radījusi iespaidīgu enerģijas un impulsa līmeni. Daudzi ir optimistiski, ka līdz projekta beigām, kas ilgs līdz nākamā gada maijam, viņi būs ieguvuši ne tikai dziļāku stipendiju par LLM ierobežojumiem, bet arī labākus rīkus un praksi, lai tos veidotu un ieviestu atbildīgi.

Organizatori cer, ka tas iedvesmos vairāk cilvēku no nozares iekļaut šo praksi savā LLM stratēģijā, lai gan viņi ir pirmie, kas atzīst, ka ir ideālistiski. Ja kas, lielais iesaistīto pētnieku skaits, tostarp daudzi no tehnoloģiju milžiem, palīdzēs izveidot jaunas normas NLP kopienā.

Savā ziņā normas jau ir mainījušās. Reaģējot uz sarunām par Gebru un Mičela atlaišanu, Kohere dzirdēja no vairākiem saviem klientiem, ka viņi ir noraizējušies par tehnoloģijas drošību. Savā vietnē tā ietver lapu, kurā ir apņemšanās pastāvīgi ieguldīt tehniskos un netehniskos pētījumos, lai mazinātu modeļa iespējamo kaitējumu. Tā saka, ka tā arī izveidos padomdevēju padomi, kas sastāv no ārējiem ekspertiem, lai palīdzētu tai izveidot politiku attiecībā uz tās tehnoloģiju pieļaujamo izmantošanu.

NLP ir ļoti svarīgā pagrieziena punktā, saka Forts. Tāpēc BigScience ir aizraujoša. Tas ļauj sabiedrībai virzīt pētniecību uz priekšu un nodrošināt cerīgu alternatīvu nozares status quo: tajā teikts: “Paņemsim vēl vienu kārtu. Paņemsim to kopā — lai izdomātu visus veidus un visas lietas, ko varam darīt, lai palīdzētu sabiedrībai.

Viņa saka, ka es vēlos, lai NLP palīdz cilvēkiem, nevis viņus nomāc.

Atjaunināt: Ir precizētas Kohere atbildības iniciatīvas.

paslēpties