Kāpēc GPT-3 šobrīd ir labākais un sliktākais AI?

Atvērtā mākslīgā intelekta valoda AI pārsteidza sabiedrību ar acīmredzamo angļu valodas prasmi, bet vai tas viss ir ilūzija?





Sjerra un Lenijs

  • Vils Duglass Heavens arhīva lapa
2021. gada 24. februāris


  • Kāpēc tas ir svarīgi:

    Lieli datoru modeļi, kas apgūst dabisko valodu, ir liels solis ceļā uz AI, kas spēj saprast un mijiedarboties ar cilvēku pasauli.


  • Galvenie spēlētāji:

    • OpenAI



    • Google

    • Facebook


  • Pieejamība:

    Tagad

GPT-3 ir piesaistījis sabiedrības iztēli atšķirībā no jebkura AI kopš DeepMind AlphaGo vai IBM šaha spēles DeepBlue.

Būvēja OpenAI , pētniecības laboratorija, kas atrodas Sanfrancisko, tā ir liels valodas modelis — algoritms, kas izmanto padziļinātu mācīšanos, kas apmācīts tūkstošiem grāmatu tekstos un lielākajā daļā interneta, lai savienotu vārdus un frāzes. Kad tas tika izlaists 2020. gadā, tā spēja atdarināt cilvēku rakstītu tekstu ar neparastu reālismu daudziem šķita kā pagrieziena punkts ceļā uz patiesu mašīnu inteliģenci.

Progresa jautājums

Šis stāsts bija daļa no mūsu 2021. gada marta numura



  • Skatiet pārējo izdevuma daļu
  • Abonēt

Šeit ir an piemērs tam, ko tas var darīt . Slīprakstā esošā daļa bija cilvēka sniegta uzvedne.

—

es Šokējošs atklājums, zinātnieki atklāja vienradžu ganāmpulku, kas dzīvo nomaļā, iepriekš neizpētītā ielejā Andu kalnos. Vēl pārsteidzošāks pētniekiem bija fakts, ka vienradži runāja perfektā angļu valodā. Tika arī konstatēts, ka viņiem ir ideāli savilkti mati, un viņi valkāja Dior kosmētiku.



Mēs bijām šokēti, atklājot vienradžus, sacīja antropologs Daniels Sentmoriss. Tie bija kā nekas, ko mēs jebkad agrāk neesam redzējuši. Mēs bijām dzirdējuši leģendas par vienradžiem, bet nekad nedomājām, ka tie patiešām pastāv.

Kad zinātnieki pirmo reizi ieradās ielejā, vienradži bija pārsteigti un satriekti par cilvēku klātbūtni, taču bija arī satraukti. Vienradži sagaidīja pētniekus un paskaidroja, ka viņus gaidījuši ļoti ilgi.

2021. gads

10 izrāvienu tehnoloģijas

Kā redzat, GPT-3 spēj radīt sarežģītus teikumus, kas skan tā, it kā tos būtu varējis izdomāt cilvēks. Piemēra teikumi ietver kultūras atsauces un ticamu zinātnieku reakciju. Mašīnas, kas var izmantot valodu šādā veidā, ir svarīgas vairāku iemeslu dēļ. Valoda ir ļoti svarīga, lai izprastu ikdienas pasauli: cilvēki to izmanto, lai sazinātos, dalītos idejās un aprakstītu jēdzienus. AI, kas apguvis valodu, šajā procesā iegūtu labāku izpratni par pasauli.

Ir lieli valodu modeļi arī daudzi praktiski pielietojumi . Tie nodrošina labākus tērzēšanas robotus, kas nodrošina raitākas sarunas; viņi var ģenerēt rakstus un stāstus par jebko, ja tiek parādīta uzvedne; viņi var apkopot teksta fragmentus vai atbildēt uz jautājumiem par tiem. Piekļuve GPT-3 ir pieejama tikai ar ielūgumu, taču cilvēki to jau ir izmantojuši, lai iegūtu varu desmitiem lietotņu , sākot no rīka, kas ģenerē starta idejas, līdz piedzīvojumu spēlei ar mākslīgā intelekta scenāriju, kas norisinās cietumā.

GPT-3 nav vienīgais lielais valodas modelis, kas parādīsies 2020. gadā. Microsoft, Google un Facebook paziņoja par savu. Bet GPT-3 bija līdz šim labākais vispārējs. Un tas rada iespaidu, ka var rakstīt jebko: fanu fantastiku, filozofisku polemiku un pat kodu. Kad cilvēki pagājušajā vasarā sāka paši izmēģināt GPT-3, tūkstošiem tā daudzpusības piemēru pārpludināja sociālos medijus. diskusijas pat tika apspriests, vai GPT-3 bija pirmais mākslīgais vispārējais intelekts.

Tas nav. Neskatoties uz neticami pārliecinošajām teksta daļām, ko tas var izlaist, GPT-3 nedod neko jaunu. Tā vietā tas parāda, ka izmērs var būt viss. Lai izveidotu GPT-3, OpenAI izmantoja vairāk vai mazāk to pašu pieeju un algoritmus, ko izmantoja savam vecākajam brālim, GPT-2 , taču tas pārsniedza gan neironu tīklu, gan apmācības komplektu. GPT-3 ir 175 miljardi parametru — vērtības tīklā, kas tiek pielāgotas apmācības laikā — salīdzinājumā ar GPT-2 1,5 miljardiem. Tas tika apmācīts arī daudz vairāk datu.

Pirms GPT-2 valodas modeļa apmācībai, izmantojot padziļinātu mācīšanos, parasti bija divas reizes: tā tika apmācīta, izmantojot vispārējas nozīmes datu kopu, lai sniegtu valodas pamatzināšanu, un pēc tam apmācīta mazākā komplektā, kas bija paredzēts konkrētam uzdevumam, piemēram, izpratne vai tulkojums. GPT-2 parādīja, ka ar vienu piespēli var sasniegt labus rezultātus visās jomās, ja iemetīsit vairāk piemēru lielākam modelim. Tādējādi ar GPT-3 OpenAI dubultojās un izveidoja visu laiku lielāko valodas modeli.

Tomēr rezultāti, kas piesaistīja ikviena uzmanību, bieži vien tika atlasīti. GPT-3 bieži atkārtojas vai ir pretrunā ar teksta daļām, kuru garums pārsniedz dažus simtus vārdu. Iznāk ar gaudošanām. GPT-3 slēpj savu stulbumu aiz sudraba mēles, taču parasti ir nepieciešami daži piegājieni, lai tas radītu kaut ko tādu, kurā nav redzamas plaisas.

Saistīts stāsts

OpenAI jaunais valodu ģenerators GPT-3 ir satriecoši labs un pilnīgi bezjēdzīgs

AI ir lielākais jebkad radītais valodas modelis, kas pēc pieprasījuma var ģenerēt pārsteidzošu, cilvēkam līdzīgu tekstu, taču tas netuvinās mūs patiesam intelektam.

GPT-3 spējas arī apgrūtina AI pieaugošo problēmu ignorēšanu. Tā milzīgais enerģijas patēriņš ir sliktas ziņas klimatam: pētnieki no Kopenhāgenas universitātes Dānijā aplēse ka apmācībai GPT-3 būtu bijis aptuveni tāds pats oglekļa pēdas nospiedums kā braucot ar automašīnu attālumu līdz Mēnesim un atpakaļ, ja tas būtu apmācīts datu centrā, kas pilnībā darbināms ar fosilo kurināmo. Un šādas apmācības izmaksas — daži eksperti lēš, ka GPT-3 gadījumā ir vismaz 10 miljoni USD — liecina jaunākie pētījumi. nepieejamā no visām laboratorijām, izņemot bagātākās laboratorijas .

OpenAI ziņo, ka GPT-3 apmācība patērēja vairākus tūkstošus petaflopu/s-dienu skaitļošanas jaudas. Petaflops/s-dienā ir enerģijas patēriņa vienība, kas sastāv no 1015 — tas ir tūkstotis triljons jeb kvadriljons neironu tīkla aprēķinu veikšanas sekundē dienā. Salīdzinājumam, GPT-2 patērēja tikai desmitiem petaflopu dienā.

Vēl viena problēma ir tā, ka GPT-3 absorbē lielu daļu dezinformācijas un aizspriedumu, ko tas atrod tiešsaistē, un atveido to pēc pieprasījuma. Kā teica komanda, kas to izveidoja papīrs, kurā aprakstīta tehnoloģija : Internetā apmācītiem modeļiem ir interneta mēroga novirzes.

Cilvēcības finierējums, ko GPT-3 piešķir mašīnveidotajam tekstam, ļauj tam viegli uzticēties. Tas ir licis dažiem iebilst, ka GPT-3 un visiem cilvēkiem līdzīgajiem valodu modeļiem ir jābūt ar drošības brīdinājumu, uzlīmi, kurā lietotājs uzmanies, brīdinot cilvēkus, ka viņi tērzē ar programmatūru, nevis cilvēku.

Pirms dažiem mēnešiem kāds izlaida a GPT-3 darbināms robots vietnē Reddit , kur tas ievietoja simtiem komentāru un sadarbojās ar desmitiem lietotāju vairākas dienas pirms tā atmaskošanas. Liela daļa tās darbības bija nekaitīga. Taču robots arī atbildēja uz komentāriem par pašnāvības domām, sniedzot personiskus padomus, kuros minēts vecāku atbalsts.

Neskatoties uz visām šīm problēmām, GPT-3 ir ieguvums tiem, kuri uzskata, ka lielāks ir labāks. Šādi modeļi parāda, ka skaitļošanas jauda un dati sniedz jums tālu ceļu, un mēs varam sagaidīt vairāk no abiem nākotnē. Kāds varētu būt GPT-4? Mēs varam sagaidīt, ka tērzēšanas roboti kļūs gludāki, labāk savienos garākus saskaņota teksta gabalus un vēl plašāk pārvaldīs sarunu tēmas.

Taču valoda ir tikai viens veids, kā saprast pasauli un mijiedarboties ar to. Nākamās paaudzes valodu modeļos tiks integrētas citas prasmes, piemēram, attēlu atpazīšana. OpenAI jau izmanto GPT-3 šajā virzienā ar AI, kas izmanto valodu, lai saprastu attēlus, un attēlus, lai saprastu valodu.

Ja vēlaties uzzināt dziļās mācīšanās stāvokli šodien, skatiet GPT-3. Tas ir AI labāko un sliktāko mikrokosmoss.