211service.com
Nekārtīgā, slepenā realitāte aiz OpenAI centieniem glābt pasauli
Gregs Brokmens, līdzdibinātājs un CTO; Iļja Sutskever, līdzdibinātājs un galvenais zinātnieks; un Dario Amodei, pētniecības direktors. Christie There Klok
Katru gadu OpenAI darbinieki balso par to, kad viņi uzskata, ka beidzot ieradīsies mākslīgais vispārējais intelekts jeb AGI. Tas galvenokārt tiek uzskatīts par jautru veidu, kā izveidot saites, un viņu aplēses ir ļoti atšķirīgas. Taču jomā, kurā joprojām notiek diskusijas par to, vai cilvēkam līdzīgas autonomas sistēmas vispār ir iespējamas, puse no laboratorijas domām, ka tas notiks 15 gadu laikā.
Četros īsos pastāvēšanas gados OpenAI ir kļuvusi par vienu no vadošajām AI pētniecības laboratorijām pasaulē. Tas ir iemantojis sev slavu, veidojot konsekventi virsrakstus piesaistošus pētījumus kopā ar citiem AI smagsvariem, piemēram, Alphabet’s DeepMind. Tas ir arī mīļš Silīcija ielejā, starp dibinātājiem pieskaitot Elonu Masku un leģendāro investoru Semu Altmanu.
Pirmām kārtām, tas ir lionized par savu misiju. Tās mērķis ir būt pirmajam, kas izveido AGI — mašīnu ar cilvēka prāta mācīšanās un spriešanas spējām. Mērķis nav dominēšana pasaulē; drīzāk laboratorija vēlas nodrošināt, lai tehnoloģija tiktu izstrādāta droši un tās priekšrocības vienmērīgi sadalītas pasaulē.
No tā izriet, ka AGI varētu viegli uzliesmot, ja tehnoloģiju attīstībai atstātu vismazākās pretestības ceļu. Šaurs intelekts, tāds neveikls AI, kāds mūs ieskauj šodien, jau ir kalpojis kā piemērs. Tagad mēs zinām, ka algoritmi ir neobjektīvi un trausli; viņi var izdarīt lielu ļaunprātīgu izmantošanu un lielu maldināšanu; un to izstrādes un vadīšanas izdevumi mēdz koncentrēt savu spēku dažu cilvēku rokās. Ekstrapolējot, AGI varētu būt katastrofāla bez labvēlīga ganu rūpīgas vadības.
OpenAI vēlas būt šis gans, un tas ir rūpīgi izveidojis savu tēlu, lai tas atbilstu rēķinam. Jomā, kurā dominē bagātas korporācijas, tā tika dibināta kā bezpeļņas organizācija. Tās pirmais paziņojums teica, ka šī atšķirība ļautu tai radīt vērtību ikvienam, nevis akcionāriem. Tās harta — dokuments, kas ir tik svēts, ka darbinieku atalgojums ir atkarīgs no tā, cik labi viņi to ievēro, — turklāt paziņo, ka OpenAI galvenais uzticības pienākums ir pret cilvēci. Tas turpina, ka AGI droša sasniegšana ir tik svarīga, ka, ja kāda cita organizācija būtu tuvu tam, lai to sasniegtu pirmā, OpenAI pārstātu ar to konkurēt un tā vietā sadarbotos. Šis pievilcīgais stāstījums labi sader ar investoriem un plašsaziņas līdzekļiem, un jūlijā Microsoft injicēja laboratorijai jaunu 1 miljardu dolāru.
Tā birojā karājas OpenAI logotips. Kristija Hema Kloka
Taču trīs dienas OpenAI birojā — un gandrīz trīs desmiti interviju ar bijušajiem un esošajiem darbiniekiem, līdzstrādniekiem, draugiem un citiem jomas ekspertiem — liecina par citu ainu. Pastāv neatbilstība starp to, ko uzņēmums publiski atbalsta, un to, kā tas darbojas aiz slēgtām durvīm. Laika gaitā tas ir ļāvis sīvai konkurētspējai un pieaugošam spiedienam pēc arvien lielāka finansējuma, lai iedragātu tās pamatideālus — pārredzamību, atvērtību un sadarbību. Daudzi, kas strādā vai strādāja uzņēmumā, uzstāja uz anonimitāti, jo viņiem nebija tiesību runāt vai viņi baidījās no atriebības. Viņu pārskati liecina, ka OpenAI, neskatoties uz visiem tās cēlajiem centieniem, ir apsēsts ar slepenības saglabāšanu, sava tēla aizsardzību un darbinieku lojalitātes saglabāšanu.
Kopš tās agrīnās koncepcijas AI kā joma ir centusies izprast cilvēkam līdzīgu intelektu un pēc tam to radīt no jauna. 1950. gadā sāka darbu Alans Tjūrings, slavenais angļu matemātiķis un datorzinātnieks papīrs ar nu jau slaveno provokāciju Vai mašīnas spēj domāt? Sešus gadus vēlāk, kaitinošās idejas valdzināta, zinātnieku grupa sapulcējās Dartmutas koledžā, lai formalizētu šo disciplīnu.
Tas ir viens no svarīgākajiem jautājumiem visā intelektuālajā vēsturē, vai ne? saka Orens Etcioni, Sietlā bāzētās bezpeļņas mākslīgā intelekta pētniecības laboratorijas Allena Mākslīgā intelekta institūta (AI2) izpilddirektors. Tas ir tāpat kā, vai mēs saprotam Visuma izcelsmi? Vai mēs saprotam lietu?
Problēma ir tā, ka AGI vienmēr ir palicis neskaidrs. Neviens nevar īsti aprakstīt, kā tas varētu izskatīties, vai minimumu, kas tam būtu jādara. Piemēram, nav skaidrs, ka pastāv tikai viena veida vispārējā inteliģence; cilvēka intelekts varētu būt tikai apakškopa. Pastāv arī dažādi viedokļi par to, kādam nolūkam AGI varētu kalpot. Romantizētākā skatījumā mašīnas intelekts, ko netraucē miega nepieciešamība vai cilvēku komunikācijas neefektivitāte, varētu palīdzēt atrisināt tādas sarežģītas problēmas kā klimata pārmaiņas, nabadzība un bads.
Taču šajā jomā valda vienprātība, ka šādas uzlabotas spējas prasīs gadu desmitus, pat gadsimtus — ja tiešām tās vispār ir iespējams attīstīt. Daudzi arī baidās, ka šī mērķa pārlieku dedzināšana var atspēlēties. 1970. gados un atkal 80. gadu beigās un 90. gadu sākumā šī joma solīja pārāk daudz un nesasniedza rezultātus. Vienas nakts laikā finansējums izsīka, atstājot dziļas rētas veselā pētnieku paaudzē. Šī joma jutās kā atkritums, saka Pīters Ekerslijs, vēl nesen pētniecības direktors nozares grupā Partnership on AI, kuras biedrs ir OpenAI.
Konferenču telpa pirmajā stāvā ar nosaukumu Infinite Jest. Kristija Hema Kloka
Uz šī fona OpenAI ienāca pasaulē ar uzplaiksnījumu 2015. gada 11. decembrī. Tā nebija pirmā, kas atklāti paziņoja, ka tā īsteno AGI; DeepMind to darīja piecus gadus iepriekš, un Google to iegādājās 2014. gadā. Taču OpenAI šķita savādāk. Pirmkārt, uzlīmes cena bija šokējoša: uzņēmums sāksies ar 1 miljardu dolāru no privātiem investoriem, tostarp Musku, Altmanu un PayPal līdzdibinātāju Pīteru Tīlu.
Zvaigžņotais investoru saraksts izraisīja plašsaziņas līdzekļu neprātu, tāpat kā iespaidīgais sākotnējo darbinieku saraksts: Gregs Brokmens, kurš bija vadījis maksājumu uzņēmuma Stripe tehnoloģiju, būtu galvenais tehnoloģiju vadītājs; Iļja Suckevers, kurš bija mācījies pie AI pioniera Džefrija Hintona, būtu pētniecības direktors; un septiņi pētnieki, kas tikko absolvējuši augstākās universitātes vai piesaistīti no citiem uzņēmumiem, veidotu galveno tehnisko komandu. (Pagājušā gada februārī, Musk paziņoja ka viņš šķiras no uzņēmuma domstarpību dēļ par tā virzību. Pēc mēneša Altmens atkāpās kā starta paātrinātāja Y Combinator prezidents, lai kļūtu par OpenAI izpilddirektoru.)
Bet vairāk par visu OpenAI bezpeļņas statuss sniedza paziņojumu. Būs svarīgi, lai būtu vadošā pētniecības iestāde, kas par prioritāti var noteikt labu rezultātu, nevis tikai savās interesēs. teikts paziņojumā . Pētnieki tiks stingri mudināti publicēt savus darbus gan kā dokumentus, gan emuāra ierakstus vai kodu, un mūsu patenti (ja tādi ir) tiks kopīgoti ar pasauli. Lai gan tas nekad nepaskaidroja kritiku, tas bija skaidrs: citas laboratorijas, piemēram, DeepMind, nevarēja kalpot cilvēcei, jo tās ierobežoja komerciālas intereses. Kamēr tie bija slēgti, OpenAI būtu atvērts .
Pētniecības vidē, kas bija kļuvusi arvien vairāk privatizēta un koncentrējās uz īstermiņa finansiāliem ieguvumiem, OpenAI piedāvāja jaunu veidu, kā finansēt progresu lielāko problēmu risināšanā. Tā bija cerību bāka, saka Čips Hujens, mašīnmācības eksperts, kurš ir rūpīgi sekojis laboratorijas gaitām.
18th un Folsom Streets krustojumā Sanfrancisko OpenAI birojs izskatās kā noslēpumaina noliktava. Vēsturiskajā ēkā ir vienmuļš pelēks paneļu apšuvums un tonēti logi, un lielākā daļa toņu ir nolaisti. Burti PIONEER BUILDING — tās kādreizējā īpašnieka, Pioneer Truck Factory, paliekas — ap stūri apvij izbalējušu sarkanu krāsu.
Iekšpusē telpa ir gaiša un gaisīga. Pirmajā stāvā ir dažas koplietošanas telpas un divas konferenču telpas. Viens, veselīgs izmērs lielākām sanāksmēm, tiek saukts par Kosmosa odiseju; otrs, vairāk kā slavināta telefona kabīne, saucas Infinite Jest. Šī ir vieta, kurā esmu ierobežots apmeklējuma laikā. Man ir aizliegts apmeklēt otro un trešo stāvu, kurā ir visi rakstāmgaldi, vairāki roboti un gandrīz viss interesants. Kad ir pienācis laiks viņu intervijām, cilvēki nāk pie manis. Darbinieks sapulču starplaikos mani uzmana.
Pionieru ēka. wikimedia commons / tfinc
Skaistajā zilo debesu dienā, kad es ierados, lai satiktu Brokmenu, viņš izskatās nervozs un apsargāts. Mēs vēl nekad nevienam neesam devuši tik daudz piekļuves, viņš saka ar nosacītu smaidu. Viņš valkā ikdienišķas drēbes un, tāpat kā daudzi OpenAI, viņam ir bezveidīgs matu griezums, kas, šķiet, atspoguļo efektīvu un vienkāršu mentalitāti.
31 gadu vecais Brokmens uzauga hobiju fermā Ziemeļdakotā, un viņam bija tā, ko viņš raksturo kā koncentrētu, klusu bērnību. Viņš slaucīja govis, vāca olas un iemīlēja matemātiku, mācoties patstāvīgi. 2008. gadā viņš iestājās Hārvardā, plānojot iegūt dubultstudiju matemātikā un datorzinātnēs, taču viņš ātri kļuva nemierīgs, lai iekļūtu reālajā pasaulē. Gadu vēlāk viņš pameta studijas, tā vietā iestājās MIT un pēc tam atkal pameta studijas dažu mēnešu laikā. Otrajā reizē viņa lēmums bija galīgs. Kad viņš pārcēlās uz Sanfrancisko, viņš nekad neatskatījās.
Brokmens aizved mani uz pusdienām, lai visas kompānijas sanāksmes laikā izņemtu mani no biroja. Kafejnīcā, kas atrodas pāri ielai, viņš par OpenAI runā ar intensitāti, sirsnību un izbrīnu, nereti velkot paralēles starp tās misiju un nozīmīgiem zinātnes vēstures sasniegumiem. Ir viegli novērtēt viņa kā līdera harizmu. Stāstot neaizmirstamus fragmentus no izlasītajām grāmatām, viņš pievēršas ielejas iecienītākajam stāstījumam — Amerikas skrējienam uz mēnesi. (Viens stāsts, kas man ļoti patīk, ir stāsts par sētnieku, viņš saka, atsaucoties uz slavenu, bet, iespējams, apokrifisku stāstu. Kenedijs pieiet pie viņa un jautā: 'Ko tu dari?', un viņš saka: 'Ak, es esmu palīdzam uzcelt cilvēku uz Mēness!') Ir arī transkontinentālais dzelzceļš (tas patiesībā bija pēdējais megaprojekts, kas tika pilnībā veikts ar rokām... milzīga mēroga projekts, kas bija pilnīgi riskants) un Tomasa Edisona kvēlspuldze (Ievērojamu ekspertu komiteja teica: Tas nekad nedarbosies, un gadu vēlāk viņš nosūtīja).
Gregs Brokmens, līdzdibinātājs un CTO. Christie Hemm pulkstenis
Brokmens apzinās OpenAI azartspēli un apzinās, ka tas izraisa cinismu un rūpīgu pārbaudi. Bet ar katru atsauci viņa vēstījums ir skaidrs: cilvēki var būt skeptiski, ko vien vēlas. Tā ir liela uzdrīkstēšanās cena.
Tie, kas pievienojās OpenAI pirmajos laikos, atceras enerģiju, aizrautību un mērķtiecību. Komanda bija maza — to veidoja ciešs sakaru tīkls, un vadība palika brīva un neformāla. Visi ticēja plakanai struktūrai, kurā idejas un debates būtu laipni gaidītas no jebkura.
Muskam bija ne mazākā loma kolektīvās mitoloģijas veidošanā. Veids, kā viņš man to pasniedza, bija “Redzi, es to saprotu. AGI varētu būt tālu, bet ja tā nav?” atceras Pīters Ebīls, UC Berkeley profesors, kurš kopā ar vairākiem viņa studentiem strādāja tur pirmajos divos gados. “Ko darīt, ja pastāv pat tikai 1% vai 0,1% iespēja, ka tas notiks nākamo piecu līdz 10 gadu laikā? Vai mums nevajadzētu par to ļoti rūpīgi padomāt?” Viņš saka, ka tas manī rezonēja.
Taču neformalitāte izraisīja arī zināmu virzienu neskaidrību. 2016. gada maijā Altmanu un Brokmenu apmeklēja Dario Amodei, toreizējais Google pētnieks, kurš viņiem teica, ka neviens nesaprot, ko viņi dara. gadā publicētajā kontā ņujorkietis , nebija skaidrs, ka to zināja arī pati komanda. Mūsu mērķis šobrīd… ir darīt visu iespējamo, sacīja Brokmens. Tas ir nedaudz neskaidrs.
Neskatoties uz to, Amodei pievienojās komandai dažus mēnešus vēlāk. Viņa māsa Daniela Amodei iepriekš bija strādājusi ar Brokmenu, un viņš jau pazina daudzus OpenAI dalībniekus. Pēc diviem gadiem pēc Brokmena lūguma pievienojās arī Daniela. Iedomājieties — mēs sākām ar neko, saka Brokmens. Mums vienkārši bija ideāls, ka mēs vēlējāmies, lai AGI iet labi.
Mūsu pusdienu laikā Brokmens deklamē hartu kā Svētos Rakstus, izskaidrojot katru uzņēmuma pastāvēšanas aspektu.
Līdz 2017. gada martam, pēc 15 mēnešiem, vadība saprata, ka ir pienācis laiks pievērst lielāku uzmanību. Tāpēc Brokmens un daži citi galvenie locekļi sāka izstrādāt iekšējo dokumentu, lai noteiktu ceļu uz AGI. Taču process ātri atklāja liktenīgu trūkumu. Kad komanda pētīja tendences šajā jomā, viņi saprata, ka palikt bezpeļņas organizācijai ir finansiāli neiespējami. Aprēķinu resursi, ko citi šajā jomā izmantoja, lai sasniegtu izrāvienu rezultātus, dubultojās ik pēc 3,4 mēnešiem . Kļuva skaidrs, ka, lai paliktu aktuāli, Brokmens saka, ka viņiem būs nepieciešams pietiekami daudz kapitāla, lai atbilstu vai pārsniegtu šo eksponenciālo pieaugumu. Tam bija vajadzīgs jauns organizatoriskais modelis, kas varētu ātri uzkrāt naudu, vienlaikus saglabājot uzticību misijai.
Sabiedrībai un lielākajai daļai darbinieku nemanot, OpenAI izlaida, paturot to prātā tās harta 2018. gada aprīlī. Dokumentā tika atkārtoti formulētas laboratorijas pamatvērtības, bet smalki mainīta valoda, lai atspoguļotu jauno realitāti. Līdztekus apņemšanās izvairīties no AI vai AGI izmantošanas, kas kaitē cilvēcei vai pārmērīgi koncentrē spēku, tā arī uzsvēra resursu nepieciešamību. Mēs paredzam, ka, lai izpildītu savu misiju, mums būs jāpiešķir ievērojami resursi, taču vienmēr rūpīgi rīkosimies, lai samazinātu interešu konfliktus starp mūsu darbiniekiem un ieinteresētajām personām, kas varētu apdraudēt plašu ieguvumu.
Mēs ilgu laiku pavadījām iekšēji, atkārtojot darbiniekus, lai panāktu, ka viss uzņēmums tiek iekļauts principu kopumā, saka Brokmens. Lietas, kurām bija jāpaliek nemainīgām, pat ja mēs mainījām savu struktūru.
No kreisās puses: Daniela Amodei, Džeks Klārks, Dario Amodejs, Džefs Vu (tehniskais darbinieks), Gregs Brokmens, Alekss Radfords (tehniskās valodas komandas vadītājs), Kristīna Peina (tehniskā personāla locekle), Iļja Suckevera un Kriss Berners (vadītājs) infrastruktūra). Kristija Hema Kloka
Šīs struktūras izmaiņas notika 2019. gada martā. OpenAI atbrīvoja no sava bezpeļņas statusa, izveidojot ierobežotas peļņas grupu — peļņas gūšanas nodaļu ar 100 reižu ierobežojumu investoru peļņai, lai gan to pārrauga valde, kas ir daļa no bezpeļņas organizācijas. Drīz pēc tam tā paziņoja par Microsoft miljardu dolāru ieguldījumu (lai gan tas neatklāja, ka tas ir sadalīts starp skaidru naudu un kredītiem Microsoft mākoņdatošanas platformai Azure).
Paredzams, ka šis solis izraisīja apsūdzību vilni, ka OpenAI atgriežas pie savas misijas. Ziņojumā par Hakeru ziņas Drīz pēc paziņojuma kāds lietotājs jautāja, kā 100 reižu ierobežojums vispār būtu ierobežojošs: sākotnējie investori Google ir saņēmuši aptuveni 20 reizes lielāku peļņu no sava kapitāla, viņi rakstīja. Jūsu likme ir tāda, ka jums būs korporatīvā struktūra, kas atdod par vairākām kārtām vairāk nekā Google... bet jūs nevēlaties “nepamatoti koncentrēt spēku”? Kā tas darbosies? Kas īsti ir vara, ja ne resursu koncentrācija?
Šis solis satricināja arī daudzus darbiniekus, kuri pauda līdzīgas bažas. Lai mazinātu iekšējos nemierus, vadība uzrakstīja FAQ kā daļu no ļoti aizsargātu pārejas dokumentu sērijas. Vai es varu uzticēties OpenAI? uzdots viens jautājums. Jā, sākās atbilde, kam sekoja paskaidrojuma rindkopa.
Harta ir OpenAI mugurkauls. Tas kalpo kā tramplīns visām laboratorijas stratēģijām un darbībām. Mūsu pusdienu laikā Brokmens to deklamē kā Svētos Rakstus, izskaidrojot katru uzņēmuma pastāvēšanas aspektu. (Starp citu, viņš precizē vienu deklamāciju pusceļā, man šķiet, ka es zinu visas šīs rindas, jo pavadīju daudz laika, lai tās saprastu, lai tās būtu pareizi. Nav tā, ka es to lasīju pirms tikšanās.)
Kā jūs nodrošināsiet, ka cilvēki turpina dzīvot jēgpilnu dzīvi, attīstot progresīvākas spējas? Kā jau rakstījām, mēs domājam, ka tā ietekmei ir jādod ikvienam ekonomiska brīvība, jāļauj viņiem atrast jaunas iespējas, kuras šodien nav iedomājamas. Kā jūs strukturēsit sevi, lai vienmērīgi sadalītu AGI? Es domāju, ka lietderība ir labākā līdzība mūsu redzējumam. Bet atkal tas viss ir pakļauts hartai. Kā jūs konkurējat, lai vispirms sasniegtu AGI, neapdraudot drošību? Es domāju, ka ir absolūti šis svarīgais līdzsvarošanas akts, un mūsu labākais risinājums ir tas, kas ir hartā.
2018. GADA 9. APRĪLIS 5 MINŪTES LASĪT OpenAI
Brokmenam stingra dokumenta ievērošana nodrošina OpenAI struktūras darbību. Iekšējā saskaņošana tiek uzskatīta par vissvarīgāko: visiem pilnas slodzes darbiniekiem ir jāstrādā ārpus viena biroja, izņemot dažus izņēmumus. Politikas komandai, īpaši direktoram Džekam Klārkam, tas nozīmē, ka dzīve ir sadalīta starp Sanfrancisko un Vašingtonu, DC. Klārks neiebilst — patiesībā viņš piekrīt mentalitātei. Viņš saka, ka starpbrīži, piemēram, pusdienas ar kolēģiem, palīdz visiem noturēties vienā un tajā pašā līmenī.
Daudzos veidos šī pieeja nepārprotami darbojas: uzņēmumam ir iespaidīgi vienota kultūra. Darbinieki strādā ilgas stundas un nemitīgi runā par savu darbu ēdienreizēs un sociālajās stundās; daudzi dodas uz tām pašām partijām un piekrīt racionālajai filozofijai efektīvs altruisms . Viņi plēš jokus, izmantojot mašīnmācības terminoloģiju, lai aprakstītu savu dzīvi: Kāda ir jūsu dzīves funkcija? Kam jūs optimizējat? Viss būtībā ir minmax funkcija. Taisnības labad jāsaka, ka citiem mākslīgā intelekta pētniekiem arī patīk to darīt, taču cilvēki, kas pārzina OpenAI, piekrīt: vairāk nekā citi šajā jomā darbinieki AI pētniecību uztver nevis kā darbu, bet gan kā identitāti. (Novembrī Brokmens precējies viņa viena gada draudzene Anna birojā uz OpenAI logotipā izkārtotu ziedu fona. Sutskevers darbojās kā tiesnesis; robota roka bija gredzena nesējs.)
Bet kādā brīdī pagājušā gada vidū harta kļuva vairāk nekā tikai pusdienlaika sarunu barība. Drīz pēc pārejas uz ierobežotu peļņu, vadība ieviesa jaunu atalgojuma struktūru, kas daļēji balstījās uz katra darbinieka misijas uzņemšanos. Līdzās tādām kolonnām kā inženierzinātņu zināšanas un pētniecības virziens izklājlapas cilnē ar nosaukumu Vienotās tehniskās kāpnes, pēdējā kolonnā ir izklāstītas ar kultūru saistītās cerības katrā līmenī. 3. līmenis: jūs saprotat un internalizējat OpenAI hartu. 5. līmenis: jūs pārliecināsities, ka visi projekti, pie kuriem strādājat jūs un jūsu komandas biedri, atbilst hartai. 7. līmenis: jūs esat atbildīgs par hartas ievērošanu un uzlabošanu, kā arī par to, lai citi organizācijā būtu atbildīgi par to pašu.
Pirmo reizi lielākā daļa cilvēku par OpenAI dzirdēja 2019. gada 14. februārī. Tajā dienā laboratorija paziņoja iespaidīgs jauns pētījums: modelis, kas varētu radīt pārliecinošas esejas un rakstus, nospiežot pogu. Barojiet to ar teikumu no Gredzenu pavēlnieks vai (viltus) ziņu sižeta sākums par Mailijas Sairusas zādzību veikalā, un tas izspļautu teksta rindkopu pēc rindkopas tādā pašā veidā.
Taču bija arī āķis: modelis ar nosaukumu GPT-2 bija pārāk bīstams, lai to atbrīvotu, sacīja pētnieki. Ja tik spēcīga tehnoloģija nonāktu nepareizās rokās, to varētu viegli izmantot ieročiem, lai radītu milzīgu dezinformāciju.
Zinātnieku pretreakcija bija tūlītēja. Daži teica, ka OpenAI veica reklāmas triku. GPT-2 ne tuvu nebija pietiekami attīstīts, lai radītu draudus. Un, ja tā bija, kāpēc paziņot par tā esamību un pēc tam izslēgt sabiedrības pārbaudi? Šķita, ka OpenAI mēģināja gūt labumu no paniku saistībā ar AI, saka Brits Pariss, Ratgersa universitātes docents, kurš pēta mākslīgā intelekta radīto dezinformāciju.
Džeks Klārks, politikas direktors. Christie Hemm pulkstenis
Līdz maijam OpenAI bija pārskatījis savu nostāju un paziņoja par plāniem pakāpeniski izlaist. Nākamo mēnešu laikā tas secīgi izlaida arvien jaudīgākas GPT-2 versijas. Pagaidām tā arī sadarbojās ar vairākām pētniecības organizācijām, lai rūpīgi pārbaudītu algoritma ļaunprātīgas izmantošanas iespējas un izstrādātu pretpasākumus. Visbeidzot, tā novembrī izlaida pilnu kodu, konstatējot, tas teica , līdz šim nav pārliecinošu pierādījumu par ļaunprātīgu izmantošanu.
Turpinoties apsūdzībām par publicitātes meklēšanu, OpenAI uzstāja, ka GPT-2 nav bijis triks. Tas drīzāk bija rūpīgi pārdomāts eksperiments, par kuru vienojās pēc vairākām iekšējām diskusijām un debatēm. Vienprātība bija tāda, ka pat tad, ja šoreiz tā būtu bijusi neliela pārspīlēšana, darbība radītu precedentu bīstamāku pētījumu veikšanai. Turklāt hartā bija paredzēts, ka drošības un drošības apsvērumi pakāpeniski liks laboratorijai nākotnē samazināt mūsu tradicionālo publicēšanu.
Tas bija arī arguments, ko politikas komanda rūpīgi izklāstīja savā sešu mēnešu emuāra ieraksts , ko viņi apsprieda, kad es sēdēju sanāksmē. Es domāju, ka tā noteikti ir daļa no veiksmes stāsta izstrādes, sacīja Mails Brundage, politikas pētnieks, izceļot kaut ko Google dokumentā. Šīs sadaļas vadībai vajadzētu būt šādai: mēs paveicām vērienīgu lietu, tagad daži cilvēki to atkārto, un šeit ir daži iemesli, kāpēc tas bija izdevīgi.
Taču OpenAI mediju kampaņa ar GPT-2 arī sekoja labi iedibinātam modelim, kas plašākai AI kopienai ir padarījusi īgnu. Gadu gaitā laboratorijas lielie, spilgtie pētījumu paziņojumi ir atkārtoti apsūdzēti mākslīgā intelekta ažiotāžas cikla veicināšanā. Vairāk nekā vienu reizi kritiķi ir arī apsūdzējuši laboratoriju par savu rezultātu izrunāšanu līdz nepareizam raksturojumam. Šo iemeslu dēļ daudzi šajā jomā ir tendēti turēt OpenAI rokas stiepiena attālumā.
Uz tā biroja sienas karājas OpenAI pētījumu izdevumu vāka attēli. Kristija Hema Kloka
Tas nav traucējis laboratorijai turpināt ieguldīt resursus savā publiskajā tēlā. Tāpat kā pētnieciskos darbus, tā publicē savus rezultātus augsti izstrādātos uzņēmuma emuāra ierakstos, kuros tas dara visu, sākot no rakstīšanas līdz multivides veidošanai un beidzot ar katra laidiena vāka attēlu noformējumu. Vienā brīdī tā arī sāka izstrādāt dokumentālo filmu par vienu no saviem sāncenšiem projektiem 90 minūšu filma par DeepMind’s AlphaGo . Tas galu galā radīja pūles neatkarīgā iestudējumā, kuru tagad daļēji finansē Brokmens un viņa sieva Anna. (Es arī piekritu piedalīties dokumentālajā filmā, lai sniegtu tehnisku skaidrojumu un kontekstu OpenAI sasniegumam. Es par to nesaņēmu atlīdzību.)
Tā kā trieciens ir palielinājies, ir nepieciešamas iekšējās diskusijas, lai to risinātu. Darbinieki ir sarūgtināti par pastāvīgo ārējo kritiku, un vadība uztraucas, ka tas iedragās laboratorijas ietekmi un spēju nolīgt labākos talantus. Iekšējā dokumentā ir uzsvērta šī problēma un tās risināšanas stratēģija: lai varētu ietekmēt valdības līmeņa politiku, mums ir jāuzskata par visuzticamāko avotu ML [mašīnmācīšanās] pētniecībā un AGI, teikts rindiņā zem politikas. sadaļā. Plašs pētnieku kopienas atbalsts ir nepieciešams ne tikai, lai iegūtu šādu reputāciju, bet arī pastiprinās mūsu vēstījumu. Citā sadaļā Stratēģija ir rakstīts: “Tieši izturieties pret ML kopienu kā pret komunikāciju ieinteresēto personu. Mainiet savu toni un ārējo ziņojumapmaiņu tā, lai mēs pret tiem vērstos tikai tad, kad apzināti to izvēlamies.
Bija vēl viens iemesls, kāpēc GPT-2 bija izraisījis tik asu pretreakciju. Cilvēki uzskatīja, ka OpenAI atkal atkāpjas no saviem iepriekšējiem atklātības un pārredzamības solījumiem. Mēnesi vēlāk saņemot ziņas par pāreju uz peļņas gūšanu, noklusētais pētījums padarīja cilvēkus vēl aizdomīgākus. Vai varētu būt, ka tehnoloģija tika slēpta, gatavojoties tās licencēšanai nākotnē?
Iļja Suckevers, līdzdibinātājs un galvenais zinātnieks. Kristija Hema Kloka
Taču maz cilvēki zināja, ka šī nebija vienīgā reize, kad OpenAI bija izvēlējies slēpt savu pētījumu. Patiesībā tas bija pilnībā noslēpis vēl vienu centienu.
Pastāv divas dominējošas tehniskās teorijas par to, kas būs nepieciešams, lai sasniegtu AGI. Vienā jau pastāv visas nepieciešamās tehnikas; atliek tikai izdomāt, kā tos mērogot un salikt. Otrā ir vajadzīga pilnīgi jauna paradigma; ar dziļu mācīšanos, ar pašreizējo AI dominējošo tehniku, nepietiks.
Lielākā daļa pētnieku atrodas kaut kur starp šīm galējībām, taču OpenAI konsekventi ir sēdējis gandrīz tikai spektra mērogošanas un montāžas galā. Lielākā daļa tās sasniegumu ir radušies, ievērojami lielākus skaitļošanas resursus iegremdējot tehniskajās inovācijās, kas izstrādātas citās laboratorijās.
Brokmens un Sutskevers noliedz, ka šī ir viņu vienīgā stratēģija, taču laboratorijas stingri apsargātie pētījumi liecina par pretējo. Komanda Foresight veic eksperimentus, lai pārbaudītu, cik tālu viņi var virzīt AI iespējas, apmācot esošos algoritmus ar arvien lielāku datu apjomu un skaitļošanas jaudu. Vadībai šo eksperimentu rezultāti ir apstiprinājuši tās instinktus, ka laboratorijas visaptverošā, uz skaitļošanu balstīta stratēģija ir labākā pieeja.
Apmēram sešus mēnešus šie rezultāti tika slēpti no sabiedrības, jo OpenAI uzskata, ka šīs zināšanas ir galvenā konkurences priekšrocība. Darbiniekiem un praktikantiem tika skaidri norādīts tos neizpaust, un tie, kas aizgāja, parakstīja neizpaušanas līgumus. Tikai janvārī komanda bez ierastajām uzrunām klusi izlikās papīrs vienā no primārajām atvērtā koda datu bāzēm AI izpētei. Cilvēki, kuri piedzīvoja intensīvo slepenību saistībā ar centieniem, nezināja, ko darīt ar šīm izmaiņām. Īpaši cits papīrs ar līdzīgiem dažādu pētnieku rezultātiem tika publicēti dažus mēnešus iepriekš.
Christie There Klok
Sākumā šāds slepenības līmenis nekad nebija paredzēts, taču kopš tā laika tas ir kļuvis ierasts. Laika gaitā vadība ir attālinājusies no savas sākotnējās pārliecības, ka atklātība ir labākais veids, kā veidot izdevīgu AGI. Tagad tas, cik svarīgi ir klusēt, ir iespaidu uz tiem, kas strādā laboratorijā vai pie tās. Tas ietver nekad nerunāšanu ar žurnālistiem bez saziņas komandas skaidras atļaujas. Pēc sākotnējām vizītēm birojā, kad sāku sazināties ar dažādiem darbiniekiem, es saņēmu e-pastu no komunikācijas vadītājas, kas man atgādināja, ka visi interviju pieprasījumi ir jāiesniedz caur viņu. Kad es atteicos, sakot, ka tas apdraudētu to, ko cilvēki man teica, viņa uzdeva darbiniekiem viņu informēt par manu palīdzību. Slack vēstījums no bijušā žurnālista Klārka vēlāk uzteica cilvēkus par ciešu aizsegu, kad reportieris šņāca apkārt.
Paziņojumā, reaģējot uz šo paaugstināto slepenību, OpenAI pārstāvis atsaucās uz tās hartas sadaļu. Mēs sagaidām, ka drošības un drošības apsvērumi nākotnē samazinās mūsu tradicionālo publicēšanu, teikts sadaļā, vienlaikus palielinot drošības, politikas un standartu pētījumu kopīgošanas nozīmi. Pārstāvis arī piebilda: Turklāt katrs mūsu izlaidums tiek veikts, izmantojot informācijas apdraudējuma procesu, lai novērtētu šos kompromisus, un mēs vēlamies savus rezultātus publiskot lēnām, lai izprastu iespējamos riskus un ietekmi pirms došanās brīvā dabā.
Viens no lielākajiem noslēpumiem ir projekts, pie kura tiek strādāts nākamais OpenAI. Avoti man to raksturoja kā iepriekšējo četru gadu pētījumu kulmināciju: AI sistēma, kas apmācīta, izmantojot attēlus, tekstu un citus datus, izmantojot milzīgus skaitļošanas resursus. Sākotnējā darbā ir norīkota neliela komanda, cerot, ka citas komandas līdz ar savu darbu galu galā iesaistīsies. Dienā, kad tas tika paziņots visa uzņēmuma sanāksmē, praktikantiem nebija atļauts apmeklēt. Cilvēki, kas ir pazīstami ar plānu, piedāvā skaidrojumu: vadība uzskata, ka tas ir visdaudzsološākais veids, kā sasniegt AGI.
OpenAI stratēģijas virzītājs ir Dario Amodei, bijušais Google darbinieks, kurš tagad ir pētniecības direktors. Kad es viņu satieku, viņš man šķiet satraucošāka Brokmena versija. Viņam ir līdzīga sirsnība un jūtīgums, bet nemierīgas nervu enerģijas gaiss. Viņš izskatās attālināts, kad viņš runā, viņa uzacis ir saraucis, roka izklaidīgi rausta viņa cirtas.
Amodei sadala laboratorijas stratēģiju divās daļās. Pirmo daļu, kas nosaka, kā tā plāno sasniegt progresīvas AI iespējas, viņš salīdzina ar investora likmju portfeli. Dažādas komandas OpenAI izspēlē dažādas likmes. Piemēram, valodu komandai ir sava nauda teorijai, kas apgalvo, ka mākslīgais intelekts var attīstīt būtisku izpratni par pasauli, tikai apgūstot valodu. Turpretim robotikas komanda virza pretēju teoriju, ka intelekta attīstībai ir nepieciešams fizisks iemiesojums.
Tāpat kā investora portfelī, ne katrai likmei ir vienāds svars. Taču zinātniskās stingrības nolūkos viss ir jāpārbauda pirms izmešanas. Amodei norāda uz GPT-2 ar tā ārkārtīgi reālistiskajiem automātiski ģenerētajiem tekstiem kā piemēru, kāpēc ir svarīgi saglabāt atvērtību. Tīra valoda ir virziens, uz kuru nozare un pat daži no mums bija zināmā mērā skeptiski, viņš saka. Bet tagad tas ir tā, piemēram: 'Oho, tas ir patiešām daudzsološi.'
Laika gaitā, dažādas likmes paceļoties pāri citām, tās piesaistīs intensīvākus centienus. Tad tie savstarpēji apputeksnēsies un apvienosies. Mērķis ir panākt, lai arvien mazāk komandu būtu, kas galu galā sabrūk vienotā AGI tehniskajā virzienā. Tas ir precīzs process, ko OpenAI jaunākais īpaši slepenais projekts it kā jau ir sācis.
Dario Amodei, pētniecības direktors. Christie Hemm pulkstenis
Stratēģijas otrā daļa, skaidro Amodei, ir vērsta uz to, kā padarīt šādas nepārtraukti progresējošas AI sistēmas drošas. Tas ietver pārliecību, ka tie atspoguļo cilvēka vērtības, var izskaidrot savu lēmumu loģiku un var mācīties, nekaitējot cilvēkiem. Katram no šiem drošības mērķiem veltītās komandas cenšas izstrādāt metodes, kuras var pielietot visos projektos, kad tie ir nobrieduši. Piemēram, izskaidrojamības komandas izstrādātās metodes var izmantot, lai atklātu GPT-2 teikumu konstrukciju vai robota kustību loģiku.
Amodejs atzīst, ka šī stratēģijas daļa ir nedaudz nejauša, mazāk balstīta uz šajā jomā iedibinātām teorijām, bet vairāk uz vēdera sajūtu. Kādā brīdī mēs izveidosim AGI, un līdz tam laikam es vēlos justies labi par šīm sistēmām, kas darbojas pasaulē, viņš saka. Visu, kur es pašlaik nejūtos labi, es izveidoju un savervēju komandu, kas koncentrējas uz šo lietu.
Neraugoties uz publicitātes dzīšanu un slepenību, Amodejs to sakot izskatās patiesi. Šķiet, ka neveiksmes iespēja viņu traucē.
Mēs esam neērtā situācijā: mēs nezinām, kā izskatās AGI, viņš saka. Mēs nezinām, kad tas notiks. Tad, rūpīgi apzinoties sevi, viņš piebilst: jebkuras personas prāts ir ierobežots. Labākais, ko esmu atklājis, ir pieņemt darbā citus drošības pētniekus, kuriem bieži ir redzējums, kas atšķiras no dabiskās lietas, par ko es varētu iedomāties. Es vēlos šādas variācijas un daudzveidību, jo tikai tā var visu uztvert.
Lieta ir tāda, ka OpenAI patiesībā ir maz variāciju un daudzveidības — fakts tika atklāts manā trešajā biroja dienā. Vienu pusdienu laikā, kad man bija dota satikties ar darbiniekiem, es apsēdos pie visredzamāk daudzveidīgākā galda ar lielu pārsvaru. Pēc nepilnas minūtes es sapratu, ka cilvēki, kas tur ēd, patiesībā nav OpenAI darbinieki. Neuralink, Musk startup, kas strādā pie datora un smadzeņu saskarnēm, koplieto vienu ēku un ēdamistabu.
Daniela Amodei, cilvēku operāciju vadītāja. Kristija Hema Kloka
Saskaņā ar laboratorijas pārstāvja teikto, no vairāk nekā 120 darbiniekiem 25% ir sievietes vai nebināras. Viņa sacīja, ka izpildkomandā ir arī divas sievietes, un līderu komandā ir 30% sieviešu, lai gan viņa neprecizēja, kuras tika ieskaitītas starp šīm komandām. (Visi četri C-suite vadītāji, tostarp Brokmens un Altmens, ir baltie vīrieši. No vairāk nekā 112 darbiniekiem, kurus es identificēju LinkedIn un citos avotos, lielākā daļa bija baltie vai aziāti.)
Godīgi sakot, šis daudzveidības trūkums ir raksturīgs AI. Pagājušajā gadā a Ziņot Ņujorkā bāzētais pētniecības institūts AI Now atklāja, ka sievietes veido tikai 18% vadošo AI konferenču autoru, 20% AI profesoru vietu un attiecīgi 15% un 10% pētnieku Facebook un Google. Noteikti vēl ir daudz darāmā akadēmiskajā vidē un nozarē, sacīja OpenAI pārstāvis. Daudzveidību un iekļaušanu mēs uztveram nopietni un nepārtraukti strādājam, lai to uzlabotu, strādājot ar tādām iniciatīvām kā WiML, Girl Geek un mūsu programmu Scholars.
Patiešām, OpenAI ir mēģinājis paplašināt savu talantu loku. Tā uzsāka savu attālo programmu Scholars nepietiekami pārstāvētajām minoritātēm 2018. gadā. Taču tikai divi no pirmajiem astoņiem zinātniekiem kļuva par pilna laika darbiniekiem, lai gan viņi ziņoja par pozitīvu pieredzi. Visizplatītākais iemesls, kāpēc atsakās palikt: prasība dzīvot Sanfrancisko. Bijušajai zinātniecei Nadjai Rodai, kura tagad ir Ņujorkas uzņēmuma vadošā mašīnmācības inženiere, pilsētā vienkārši bija pārāk maza daudzveidība.
Bet, ja dažādība ir problēma AI nozarei kopumā, tā ir kaut kas eksistenciālāks uzņēmumam, kura misija ir vienmērīgi izplatīt tehnoloģiju visiem. Fakts ir tāds, ka tajā nav pārstāvētas grupas, kurām ir vislielākais risks tikt atstumtam.
Tas arī nepavisam nav skaidrs tikai kā OpenAI plāno izplatīt AGI priekšrocības visai cilvēcei, kā Brokmens bieži saka, citējot savu misiju. Vadība par to runā neskaidri un ir maz darījusi, lai precizētu specifiku. (Janvārī Oksfordas universitātes Cilvēces nākotnes institūts publicēja ziņojumu sadarbībā ar laboratoriju, kas ierosina sadalīt pabalstus, sadalot procentus no peļņas. Taču autori minēja būtiskas neatrisinātas problēmas saistībā ar... veidu, kādā tas tiks ieviests.) Tā ir mana lielākā problēma ar OpenAI, saka bijušais darbinieks, kurš vēlējās palikt anonīms.
Christie There Klok
Viņi izmanto izsmalcinātu tehnisko praksi, lai mēģinātu risināt sociālās problēmas ar AI, piebalso Britt Paris no Rutgers. Šķiet, ka viņiem īsti nav spēju izprast sociālo. Viņi vienkārši saprot, ka tā ir sava veida ienesīga vieta, kur šobrīd sevi pozicionēt.
Brokmens piekrīt, ka OpenAI, lai sasniegtu savu misiju, galu galā būs nepieciešamas gan tehniskās, gan sociālās zināšanas. Taču viņš nepiekrīt, ka sociālie jautājumi ir jārisina jau pašā sākumā. Kā tieši jūs veidojat ētiku vai šīs citas perspektīvas? Un kad jūs tos ievedat un kā? Viena no stratēģijām, ko jūs varētu īstenot, ir jau no paša sākuma mēģināt cept visu, kas jums varētu būt nepieciešams, viņš saka. Man nav domā ka šī stratēģija, visticamāk, būs veiksmīga.
Viņš saka, ka vispirms ir jāizdomā, kā AGI izskatīsies. Tikai tad būs laiks pārliecināties, ka mēs saprotam sekas.
Pagājušajā vasarā, dažas nedēļas pēc pārejas uz ierobežotas peļņas modeli un 1 miljarda dolāru injekciju no Microsoft, vadība apliecināja darbiniekiem, ka šie atjauninājumi funkcionāli nemainīs OpenAI pieeju pētniecībai. Microsoft bija labi saskaņota ar laboratorijas vērtībām, un jebkādi komercializācijas centieni būtu tālu; pamatjautājumu risināšana joprojām paliktu darba pamatā.
Kādu laiku šīs garantijas šķita patiesas, un projekti turpinājās kā bijuši. Daudzi darbinieki pat nezināja, kādi solījumi tika doti Microsoft.
Taču pēdējos mēnešos komercializācijas spiediens ir pastiprinājies, un nepieciešamība veikt pētījumus, kas ļauj pelnīt naudu, vairs nešķiet kaut kas tālā nākotnē. Daloties savā 2020. gada redzējumā par laboratoriju privāti ar darbiniekiem, Altmana vēstījums ir skaidrs: OpenAI ir jāpelna nauda, lai veiktu pētījumus, nevis otrādi.
Tas ir smags, bet nepieciešams kompromiss, teica vadība, un tas bija jādara, jo trūkst bagātu filantropu ziedotāju. Turpretim Sietlā bāzētā bezpeļņas organizācija AI2, kas vērienīgi virza uz priekšu fundamentālo AI pētniecību, saņem savus līdzekļus no pašpietiekama (vismaz tuvākajā nākotnē) naudas kopuma, ko atstājis nelaiķis Pols Allens, miljardieris, kurš vislabāk pazīstams ar līdzdibināšanu. Microsoft.
Bet patiesība ir tāda, ka OpenAI saskaras ar šo kompromisu ne tikai tāpēc, ka tas nav bagāts, bet arī tāpēc, ka tā ir izdarījusi stratēģisku izvēli mēģināt sasniegt AGI pirms jebkura cita. Šis spiediens liek tai pieņemt lēmumus, kas, šķiet, nonāk arvien tālāk un tālāk no sākotnējā nodoma. Tā sliecas uz ažiotāžu, steidzoties piesaistīt finansējumu un talantus, sargā savus pētījumus, cerot saglabāt pārsvaru, un dzenas pēc skaitļošanas ziņā smagas stratēģijas — nevis tāpēc, ka tas tiek uzskatīts par vienīgo ceļu uz AGI, bet gan tāpēc, ka tas šķiet ātrākais. .
Tomēr OpenAI joprojām ir talantu un progresīvu pētījumu bastions, kas piepildīts ar cilvēkiem, kuri patiesi cenšas strādāt cilvēces labā. Citiem vārdiem sakot, tajā joprojām ir vissvarīgākie elementi, un vēl ir laiks, lai tas mainītos.
Tuvojoties manas intervijas beigām ar Rhodes, bijušo attālo zinātnieku, es viņai jautāju vienu lietu par OpenAI, ko man nevajadzētu izlaist no šī profila. Es domāju, ka, manuprāt, ir problēmas, viņa sāk vilcināties. Daži no tiem, iespējams, nāk no vides, ar kuru tas saskaras; daži no tiem nāk no tādiem cilvēkiem, kurus tas mēdz piesaistīt, un citus cilvēkus, kurus tas atstāj ārpusē.
Bet man šķiet, ka viņi kaut ko dara mazliet pareizi, viņa saka. Man radās sajūta, ka cilvēki tur nopietni cenšas.
Atjaunināt: Mēs veicām dažas izmaiņas šajā stāstā pēc tam, kad OpenAI lūdza mums precizēt, ka, kad Gregs Brokmens teica, ka viņš neuzskata, ka ir iespējams ieviest ētiku… no paša sākuma, izstrādājot AI, viņš domāja, ka tas nozīmē, ka ētiski jautājumi nevar būt jārisina no sākuma, nevis tāpēc, ka tos nevarēja risināt no sākuma. Turklāt, pametot studijas Hārvardā, viņš pārcēlās uz MIT, nevis gaidīja gadu. Arī to, ka viņš audzis nevis fermā, bet 'hobijas saimniecībā'. Brokmens uzskata, ka šī atšķirība ir svarīga.
Turklāt mēs esam noskaidrojuši, ka, lai gan OpenAI patiešām 'atteicās no bezpeļņas organizācijas statusa', valde, kas ir daļa no bezpeļņas organizācijas, to joprojām pārrauga, un OpenAI publicē savus pētījumus uzņēmuma emuāra ierakstu veidā, kā arī vietā, pētniecības darbi. Mēs esam arī izlabojuši ārējo pētnieku raksta publicēšanas datumu un Pītera Ekerslija (bijušais, nevis pašreizējais AI partnerības pētniecības direktors, kuru viņš nesen pameta) piederību.