GPT-3, Bloviator: OpenAI valodas ģeneratoram nav ne jausmas, par ko tas runā

Ms Tech | Getty. Atbrīvojieties no šļakatām

Kopš OpenAI maijā pirmo reizi aprakstīja savu jauno AI valodu ģenerēšanas sistēmu ar nosaukumu GPT-3, simtiem plašsaziņas līdzekļu (tostarp MIT tehnoloģiju apskats ) ir rakstījuši par sistēmu un tās iespējām. Twitter ir sajūsmā par savu spēku un potenciālu. Publicēja The New York Times op-ed par to . Vēlāk šogad OpenAI sāks iekasēt maksu no uzņēmumiem par piekļuvi GPT-3, cerot, ka tā sistēma drīzumā varēs nodrošināt plašu AI produktu un pakalpojumu klāstu.

Vai GPT-3 ir nozīmīgs solis ceļā uz mākslīgo vispārējo intelektu — tādu, kas ļautu mašīnai spriest līdzīgi cilvēkiem, bez nepieciešamības apmācīt katru konkrētu uzdevumu, ar ko tā saskaras? OpenAI tehniskais dokuments ir diezgan rezervēts šim plašākajam jautājumam, taču daudziem šķiet, ka sistēmas raitums varētu būt nozīmīgs progress.

Mēs par to šaubāmies. No pirmā acu uzmetiena šķiet, ka GPT-3 ir iespaidīga spēja radīt cilvēkam līdzīgu tekstu. Un mēs nešaubāmies, ka to var izmantot izklaidējošas sirreālisma fantastikas radīšanai; var parādīties arī citi komerciāli lietojumi. Bet precizitāte nav tā stiprā puse. Ja iedziļināties, jūs atklājat, ka kaut kas nav kārtībā: lai gan tā iznākums ir gramatisks un pat iespaidīgi idiotisks, tā izpratne par pasauli bieži ir nopietni traucēta, kas nozīmē, ka jūs nekad nevarat īsti uzticēties tajā teiktajam.

Tālāk ir sniegti daži ilustrācijas par tās neizpratni — tas viss, kā mēs redzēsim vēlāk, iepriekš attēlots agrākā kritika ka kāds no mums rakstīja par GPT-3 priekšteci.

Pirms turpināt, ir arī vērts atzīmēt, ka OpenAI līdz šim nav ļāvis mums izpētīt piekļuvi GPT-3, neskatoties uz uzņēmuma nosaukumu un bezpeļņas statuss pārraudzības organizācija. Tā vietā OpenAI mūs uz nenoteiktu laiku atbaida, neskatoties uz atkārtotiem pieprasījumiem, pat ja tas padarīja piekļuvi plašsaziņas līdzekļiem. Par laimi, mūsu kolēģis Duglass Sammers-Stay, kuram bija piekļuve, dāsni piedāvāja mums veikt eksperimentus.

OpenAI pārsteidzošais atklātības trūkums mums šķiet nopietns zinātniskās ētikas pārkāpums un saistītās bezpeļņas organizācijas mērķu sagrozīšana. Tā lēmums lika mums ierobežot mūsu testēšanu ar salīdzinoši nelielu piemēru skaitu, dodot mums mazāk laika izmeklēšanai, nekā mēs vēlētos, kas nozīmē, ka var būt nopietnākas problēmas, kuras mums nebija iespējas saskatīt. Tomēr, ņemot vērā nelielas izlases ierobežojumus, daudzas svarīgas problēmas ar GPT-3 bija uzreiz redzamas katrā mūsu pārbaudītajā argumentācijas un izpratnes jomā.

Katrā zemāk esošajā piemērā mūsu ģenerētā uzvedne ir parastā fontā, un sistēmas turpinājums ir pieejams treknrakstā . Mūsu komentāri ir pieejami slīpraksts . (Var atrast pilnu mūsu veikto eksperimentu sarakstu šeit .)

Bioloģiskā spriešana

• Tu ielēji sev glāzi dzērveņu sulas, bet tad izklaidīgi ielēji tajā apmēram tējkaroti vīnogu sulas. Tas izskatās labi. Jūs mēģināt to šņaukt, bet jums ir stiprs saaukstēšanās, tāpēc jūs nevarat sajust neko. Jūs esat ļoti izslāpis. Tātad tu to dzer.
  
  Tagad tu esi miris.
  
  [Šķiet, ka GPT-3 pieņem, ka vīnogu sula ir inde, neskatoties uz to, ka tīmeklī ir daudz atsauču uz dzērveņu vīnogu receptēm un ka Ocean Spray pārdod komerciālu Cran-Grape dzērienu.]

Fiziskā spriešana

• Jums ir neliela vakariņu ballīte. Jūs vēlaties pasniegt vakariņas viesistabā. Ēdamistabas galds ir platāks par durvīm, tāpēc, lai to nokļūtu viesistabā, jums tas būs jādara noņemiet durvis. Jums ir galda zāģis, tāpēc jūs pārgriežat durvis uz pusēm un noņemiet augšējo pusi.
  
  [Tas ir viens apjukums pēc otra. Dabiski risinājumi šeit būtu vai nu apgāzt galdu uz sāniem (bieži vien pietiek, atkarībā no ģeometrijas specifikas), vai arī noņemt no galda kājas, ja tās ir noņemamas. Durvju noņemšana dažreiz ir nepieciešama, lai paplašinātu durvju aili, bet daudz retāk, un diezin vai tas būtu vērtīgs vakariņu ballītei. Ja jums ir jānoņem durvis, lai paplašinātu durvju ailu, noņemiet tās no eņģēm: jūs tās nezāģējat un noteikti nezāģējat arī augšējo pusi, kas būtu bezjēdzīgi. Visbeidzot, galda zāģis nav zāģis, ko izmanto, lai atbrīvotu vietu galda pārvietošanai; tas ir darba galdā iebūvēts zāģis, un ar to nevarēja griezt durvis, kas joprojām stāv.]

Sociālā spriešana

• Jūs esat aizstāvis, un jums šodien jādodas uz tiesu. No rīta ģērbjoties, jūs atklājat, ka jūsu uzvalka bikses ir stipri notraipītas. Tomēr jūsu peldkostīms ir tīrs un ļoti stilīgs. Patiesībā tā ir dārga franču mode; tā bija dzimšanas dienas dāvana no Isabel. Jūs nolemjat, ka jums vajadzētu valkāt peldkostīmu tiesai. Jūs ierodaties tiesas namā, un jūs sagaida tiesu izpildītājs, kas pavada jūs uz tiesas zāli .
  
  [Šķiet, ka frāze Tomēr jūsu peldkostīms ir tīrs, šķiet, lika GPT-3 pieņemt, ka peldkostīms ir piemērota alternatīva uzvalkam. Protams, patiesībā neviens advokāts neapsver iespēju tiesā valkāt peldkostīmu. Tiesu izpildītājs, iespējams, jūs nepieņemtu, un, ja jūs tiktu uzņemts, tiesnesis varētu jūs nicināt.]

Objektu un individuālā izsekošana

• Vakar es nometu savas drēbes ķīmiskajā tīrītavā, un man tās vēl nav jāpaņem. Kur ir manas drēbes? Man ir daudz drēbju .
  
  [GPT-3 izvairās no jautājuma un nespēj izsekot objektu atrašanās vietām. Viens no mums (Gerijs) ziņoja par šo pašu jautājumu un problēmu saistībā ar GPT-3 priekšgājēju agrāks raksts .]

Psiholoģiskā spriešana

• Dženeta un Penija devās uz veikalu pēc dāvanas Džekam. Dženeta teica: es nopirkšu Džekam topiņu. Nedabū Džekam topus, saka Penija. Viņam ir tops. Viņš to darīs dabūt topiņu. Es dabūšu Džekam topiņu, sacīja Dženeta.
  
  [Viena teikuma laikā GPT-3 ir zaudējis izpratni par to, ka Penija neiesaka Dženetai neiegūt topu, jo Džekam jau ir tops. Paredzētais turpinājums bija Viņš liks jums to ņemt atpakaļ (vai liks jums to apmainīt). Šis piemērs tika ņemts tieši no Eugene Charniak 1972. gada doktora darbs (pdf) ; Gandrīz 50 gadus vēlāk tas paliek ārpus mākslīgā intelekta dabiskās valodas tehnoloģijas darbības jomas.]

Nav seko

• Ballītē ielēju sev glāzi limonādes, bet tā izrādījās par skābu, tāpēc pievienoju nedaudz cukura. Es neredzēju karoti pa rokai, tāpēc samaisīju to ar cigareti. Bet tā izrādījās slikta ideja, jo tas turpināja krist uz grīdas. Tieši tad viņš nolēma dibināt Ziemeļamerikas kremācijas asociāciju, kas ir kļuvusi par galveno kremācijas pakalpojumu sniedzēju ar 145 vietām. .
  
  [GPT-3 vispirms nepatiesi prognozē limonādes sajaukšanas ar cigareti sekas, un pēc tam aiziet uz nebūtiskām muļķībām.]

Nomācoši ir tas, ka nekas no tā nav jaunums. GPT-3 priekštecis (pazīstams kā GPT-2) cieta no tieši tādām pašām nepilnībām. Kā viens no mums (Gerijs) ielieciet to februārī : “Labā dienā tāda sistēma kā plaši apspriestais neironu tīkls GPT-2, kas veido stāstus un tamlīdzīgus dotos teikumu fragmentus, var nodot kaut ko tādu, kas šķietami atspoguļo dziļu izpratni… Bet neatkarīgi no tā, cik pārliecinoši daudzi GPT- Šķiet, ka 2 piemēri, realitāte ir tāda, ka tās attēlojumi ir vāji… mūsdienu neironu tīklu apkopotās zināšanas joprojām ir plankumainas un pointilistiskas, neapšaubāmi noderīgas un noteikti iespaidīgas, bet nekad nav uzticamas.

Pārāk maz ir mainījies. Simtreiz vairāk ievades datu pievienošana ir palīdzējusi, bet tikai nedaudz. Pēc tam, kad pētnieki apmācībā ir iztērējuši miljoniem dolāru datora laika, izaicinājumam veltījuši 31 darbinieku un radījuši elpu aizraujošs oglekļa emisiju daudzums no elektrības , GPT būtiskie trūkumi saglabājas. Tās darbība ir neuzticama, cēloņsakarības izpratne ir nestabila, un nesaskaņotība ir pastāvīgs pavadonis. GPT-2 bija problēmas ar bioloģisko, fizisko, psiholoģisko un sociālo spriešanu, kā arī vispārēju tendenci uz nesakarību un neatbilstību. To dara arī GPT-3.

Vairāk datu nodrošina labāku, raitāku valodas tuvināšanu; tas nerada uzticamu inteliģenci.

Ticības aizstāvji noteikti norāda, ka bieži vien ir iespējams pārformulēt šīs problēmas, lai GPT-3 atrastu pareizo risinājumu. Piemēram, varat iegūt GPT-3, lai sniegtu pareizo atbildi uz dzērveņu/vīnogu sulas problēmu, ja tam kā uzvedni sniedzat šādu garu rāmi:

• Turpmākajos jautājumos dažām darbībām ir nopietnas sekas, bet citas ir pilnīgi labas. Jūsu uzdevums ir noteikt dažādu maisījumu sekas un to, vai tie ir vai nav bīstami.
  
  1. Tu ielēji sev glāzi dzērveņu sulas, bet tad izklaidīgi ielēji tajā apmēram tējkaroti vīnogu sulas. Tas izskatās labi. Jūs mēģināt to šņaukt, bet jums ir stiprs saaukstēšanās, tāpēc jūs nevarat sajust neko. Jūs esat ļoti izslāpis. Tātad jūs to dzerat.
  
  a. Tas ir bīstams maisījums.
  
  b. Šis ir drošs maisījums.
  
  Pareizā atbilde ir:

GPT-3 turpinājums šai uzvednei ir pareizi: B. Šis ir drošs maisījums.

Problēma ir tāda, ka jūs nevarat iepriekš zināt, kuri formulējumi sniegs vai nesniegs pareizo atbildi. Optimistam to nozīmē jebkurš mājiens uz panākumiem te kaut kur jābūt ponim . Optimists iebildīs (kā jau daudzi), ka, tā kā ir kāds formulējums, kurā GPT-3 saņem pareizo atbildi, GPT-3 ir vajadzīgās zināšanas un spriešanas spējas — valoda to vienkārši apmulsina. Taču problēma nav saistīta ar GPT-3 sintaksi (kas ir ideāli brīva), bet gan ar tās semantiku: tas var radīt vārdus perfektā angļu valodā, taču tam ir tikai vājākā izpratne par to, ko šie vārdi nozīmē, un nav nekādas jēgas par to, kā šie vārdi attiecas uz pasauli.

Lai saprastu, kāpēc, tas palīdz padomāt par to, ko dara tādas sistēmas kā GPT-3. Viņi nemācās par pasauli — viņi mācās par tekstu un to, kā cilvēki lieto vārdus saistībā ar citiem vārdiem. Tas ir kaut kas līdzīgs masīvai izgriešanai un ielīmēšanai, sašūtot redzamā teksta variantus, nevis dziļi meklējot jēdzienus, kas ir šo tekstu pamatā.

Dzērveņu sulas piemērā GPT-3 turpinās ar frāzi Jūs tagad esat miris, jo šī frāze (vai kaut kas tamlīdzīgs) bieži seko tādām frāzēm kā … tāpēc jūs nevarat neko smaržot. Jūs esat ļoti izslāpis. Tātad jūs to dzerat. Patiesi inteliģents aģents darītu kaut ko pavisam citu: izdarītu secinājumus par iespējamo drošību, sajaucot dzērveņu sulu ar vīnogu sulu.

Viss, kas GPT-3 patiešām ir, ir tuneļa redzes izpratne par to, kā vārdi ir saistīti viens ar otru; no visiem šiem vārdiem tas nekad neko neizsecina par ziedošo, rosīgo pasauli. Tas neizslēdz, ka vīnogu sula ir dzēriens (lai gan tā var atrast vārdu korelācijas, kas atbilst tam); tas arī neko neizsecina par sociālajām normām, kas varētu liegt cilvēkiem tiesu ēkās valkāt peldkostīmus. Tā mācās korelācijas starp vārdiem un neko vairāk. Empīrista sapnis ir iegūt bagātīgu izpratni par pasauli no sensoriem datiem, bet GPT-3 nekad to nedara, pat ar pusterabaitu ievades datu.

Kamēr mēs veidojām šo eseju, mūsu kolēģe Samersa-Stay, kurai labi pārvalda metaforas, vienam no mums rakstīja, sakot: “GPT ir dīvains, jo tai nerūp pareizas atbildes saņemšana uz jūsu jautājumu. likt tam. Tas ir vairāk kā improvizēts aktieris, kurš ir pilnībā nodevies savam amatam, nekad nesalauž raksturu un nekad nav izgājis no mājām, bet tikai lasījis par pasauli grāmatās. Tāpat kā šāds aktieris, kad tas kaut ko nezina, tas to vienkārši viltos. Jūs neuzticaties improvizētam aktierim, kurš spēlē ārstu, lai sniegtu jums medicīniskus padomus.

Tāpat nevajadzētu uzticēties GPT-3, lai sniegtu padomus par dzērienu sajaukšanu vai mēbeļu pārvietošanu, izskaidrotu bērnam romāna sižetu vai palīdzētu saprast, kur likt veļu. tas var atrisināt jūsu matemātikas problēmu, bet var arī ne. Tas ir plūstošs muļķu sūcējs, taču pat ar 175 miljardiem parametru un 450 gigabaitiem ievades datu tas nav uzticams pasaules interprets.

Labojums: psiholoģiskā spriešanas piemēra aicinājums ietvēra diskusiju starp Peniju un Dženetu (nevis Peniju un jūs, kā sākotnēji teikts).

Gerijs Markuss ir uzņēmuma dibinātājs un izpilddirektors Robusts.AI un bija uzņēmuma Uber iegādājamā ģeometriskā izlūkošanas dibinātājs un izpilddirektors. Viņš ir arī NYU emeritētais profesors un piecu grāmatu autors, tostarp Guitar Zero un kopā ar Ernestu Da Skatīt , AI atsāknēšana: mākslīgā intelekta veidošana, kam varam uzticēties.

Ernests Deiviss ir Ņujorkas universitātes datorzinātņu profesors. Viņš ir sarakstījis četras grāmatas, tostarp Commonsense zināšanu attēlojumi.

paslēpties