Paskaidrota OpenAI daiļliteratūras rakstīšanas un viltus ziņu izplatīšanas AI tehnoloģija

Vārdu burbuļi, kas parāda zinātniskās fantastikas stāsta sākumu, un dators, kas turpina stāstījumu Tehniķa kundze

Pagājušajā ceturtdienā (14. februārī) bezpeļņas pētījumu firma OpenAI izlaida a jauns valodas modelis spēj radīt pārliecinošus prozas fragmentus. Tātad pārliecinoši , patiesībā pētnieki ir atturējušies no koda atklātā avota, cerot apturēt tā iespējamo ieroču izmantošanu kā līdzekli viltus ziņu masveida ražošanai.

OpenAI darbinieks izdrukāja šo AI rakstīto paraugu un ievietoja to atkritumu tvertnē: https://t.co/PT8CMSU2AR pic.twitter.com/PuXEzxL7Xd

— Gregs Brokmens (@gdb) 2019. gada 14. februāris

Lai gan iespaidīgie rezultāti ir ievērojams lēciens, kas pārsniedz esošo valodu modeļu sasniegto, izmantotā tehnika nav gluži jauna. Tā vietā izrāvienu galvenokārt nodrošināja algoritmam arvien vairāk apmācības datu ievadīšana — šis triks ir arī bijis atbildīgs par lielāko daļu citu neseno sasniegumu AI mācīšanā lasīt un rakstīt. Tas pārsteidz cilvēkus attiecībā uz to, ko jūs varat darīt ar [...] vairāk datu un lielākiem modeļiem, saka Persijs Liangs, Stenfordas datorzinātņu profesors.

Modeļa radītās teksta daļas ir pietiekami labas, lai tās maskētu kā kaut ko cilvēka rakstītu. Taču šo spēju nevajadzētu jaukt ar patiesu valodas izpratni — mākslīgā intelekta apakšjoma, kas pazīstama kā dabiskās valodas apstrāde (NLP), galvenais mērķis. (Datorredzē ir analogs: algoritms var sintezēt ļoti reālistiskus attēlus bez patiesas vizuālas izpratnes.) Faktiski, lai mašīnas sasniegtu šo izpratnes līmeni, ir uzdevums, kas NLP pētniekiem lielākoties nav izdevies. Liangs pieļauj, ka šī mērķa sasniegšana var aizņemt vairākus gadus, pat gadu desmitus, un, visticamāk, tas ietvers metodes, kas vēl neeksistē.

Četras dažādas valodas filozofijas šobrīd virza NLP paņēmienu attīstību. Sāksim ar OpenAI izmantoto.

#1. Izplatības semantika

Lingvistiskā filozofija. Vārdiem nozīme ir no tā, kā tie tiek lietoti. Piemēram, vārdiem kaķis un suns ir saistīti nozīme, jo tie tiek lietoti vairāk vai mazāk vienādi. Jūs varat barot un samīļot kaķi, kā arī barot un glāstīt suni. Tomēr jūs nevarat barot un glāstīt apelsīnu.

Saistīts stāsts

Saistīts stāsts Šis algoritms, kas tiek barots ar miljardiem vārdu, rada pārliecinošus rakstus un parāda, kā AI var izmantot cilvēku masveida apmānīšanai.

Kā tas nozīmē NLP. Algoritmi, kuru pamatā ir izplatīšanas semantika, lielā mērā ir bijuši atbildīgi nesenie sasniegumi NLP . Viņi izmanto mašīnmācīšanos, lai apstrādātu tekstu, atrodot modeļus, būtībā skaitot, cik bieži un cik cieši vārdi tiek lietoti viens otram. Iegūtie modeļi pēc tam var izmantot šos modeļus, lai izveidotu pilnīgus teikumus vai rindkopas, kā arī darbinātu tādas lietas kā automātiskā pabeigšana vai citas jutīgās teksta sistēmas. Pēdējos gados daži pētnieki ir arī sākuši eksperimentēt, aplūkojot nejaušu rakstzīmju secību, nevis vārdu sadalījumu, lai modeļi varētu elastīgāk rīkoties ar akronīmiem, pieturzīmēm, slengu un citām lietām, kas vārdnīcā neparādās, kā arī valodas, kurām nav skaidras robežu starp vārdiem.

Pros. Šie algoritmi ir elastīgi un mērogojami, jo tos var lietot jebkurā kontekstā un mācīties no nemarķētiem datiem.

Mīnusi Viņu izveidotie modeļi faktiski nesaprot teikumus, ko tie veido. Dienas beigās viņi raksta prozu, izmantojot vārdu asociācijas.

#2. Rāmja semantika

Lingvistiskā filozofija. Valoda tiek izmantota, lai aprakstītu darbības un notikumus, tāpēc teikumus var iedalīt subjektos, darbības vārdos un modifikatoros. PVO , kas , kur , un kad .

Kā tas nozīmē NLP. Algoritmi, kuru pamatā ir kadra semantika, izmanto noteikumu kopumu vai daudz marķētu apmācības datu, lai iemācītos dekonstruēt teikumus. Tas padara tos īpaši labi parsējot vienkāršas komandas un tādējādi noder tērzēšanas robotiem vai balss palīgiem. Ja jūs lūgtu Alexa rītdienai atrast restorānu ar četrām zvaigznēm, šāds algoritms izdomātu, kā izpildīt teikumu, sadalot to darbībā (atrast), kas (restorāns ar četrām zvaigznēm), un kad (rīt).

Pros. Atšķirībā no sadales semantiskiem algoritmiem, kas nesaprot tekstu, no kura viņi mācās, kadru semantiskie algoritmi var atšķirt dažādas informācijas daļas teikumā. Tos var izmantot, lai atbildētu uz tādiem jautājumiem kā Kad notiek šis pasākums?

Mīnusi Šie algoritmi spēj apstrādāt tikai ļoti vienkāršus teikumus un tāpēc nespēj uztvert nianses. Tā kā tiem ir nepieciešama daudz kontekstam atbilstoša apmācība, tie arī nav elastīgi.

#3. Modeļu teorētiskā semantika

Lingvistiskā filozofija. Valoda tiek izmantota, lai nodotu cilvēka zināšanas.

Kā tas nozīmē NLP. Modeļu teorētiskās semantikas pamatā ir sena AI ideja, ka visas cilvēka zināšanas var tikt kodētas vai modelēta , loģisko noteikumu sērijā. Tātad, ja jūs zināt, ka putni var lidot un ērgļi ir putni, tad varat secināt, ka ērgļi var lidot. Šī pieeja vairs nav modē, jo pētnieki drīz saprata, ka katram noteikumam ir pārāk daudz izņēmumu (piemēram, pingvīni ir putni, bet nevar lidot). Taču algoritmi, kuru pamatā ir modeļu teorētiskā semantika, joprojām ir noderīgi, lai iegūtu informāciju no zināšanu modeļiem, piemēram, datu bāzēm. Tāpat kā kadru semantikas algoritmi, tie parsē teikumus, dekonstruējot tos daļās. Bet tā kā rāmja semantika šīs daļas definē kā PVO , kas , kur , un kad , modeļu teorētiskā semantika tos definē kā loģiskos noteikumus, kas kodē zināšanas. Piemēram, apsveriet jautājumu Kāda ir lielākā pilsēta Eiropā pēc iedzīvotāju skaita? Modeļu teorētiskais algoritms to sadalītu pašpietiekamu vaicājumu sērijā: Kas ir visas pasaules pilsētas? Kuras no tām ir Eiropā? Kāds ir pilsētu iedzīvotāju skaits? Kurš iedzīvotāju skaits ir vislielākais? Pēc tam tas varētu šķērsot zināšanu modeli, lai iegūtu galīgo atbildi.

Pros. Šie algoritmi dod mašīnām iespēju atbildēt uz sarežģītiem un niansētiem jautājumiem.

Mīnusi Tiem ir nepieciešams zināšanu modelis, kura izveide ir laikietilpīga, un tie nav elastīgi dažādos kontekstos.

#4. Pamatota semantika

Lingvistiskā filozofija. Valoda iegūst nozīmi no pārdzīvotās pieredzes. Citiem vārdiem sakot, cilvēki radīja valodu, lai sasniegtu savus mērķus, tāpēc tā ir jāsaprot mūsu uz mērķi orientētās pasaules kontekstā.

Kā tas nozīmē NLP. Šī ir jaunākā pieeja, un tā, pēc Liangas domām, ir visdaudzsološākā. Tas mēģina atdarināt to, kā cilvēki dzīves laikā uztver valodu: mašīna sāk ar tukšu stāvokli un sarunā un mijiedarbībā iemācās saistīt vārdus ar pareizajām nozīmēm. Vienkāršā piemērā, ja vēlaties iemācīt datoram pārvietot objektus virtuālajā pasaulē, jūs tam dotu komandu, piemēram, Pārvietot sarkano bloku pa kreisi, un pēc tam parādītu, ko domājāt. Laika gaitā iekārta iemācīsies saprast un izpildīt komandas bez palīdzības.

Pros. Teorētiski šiem algoritmiem vajadzētu būt ļoti elastīgiem un vistuvāk patiesai valodas izpratnei.

Mīnusi Mācīšana ir ļoti laikietilpīga, un ne visus vārdus un frāzes ir tik viegli ilustrēt kā Pārvietot sarkano bloku.

Liangs domā, ka īstermiņā NLP jomā būs daudz lielāks progress, izmantojot esošās metodes, īpaši tās, kuru pamatā ir izplatīšanas semantika. Bet ilgtermiņā, pēc viņa domām, tiem visiem ir ierobežojumi. Viņš saka, ka, iespējams, pastāv kvalitatīva plaisa starp veidu, kā cilvēki saprot valodu un uztver pasauli, un mūsu pašreizējiem modeļiem. Viņš piebilst, ka šīs plaisas likvidēšanai, iespējams, būtu vajadzīgs jauns domāšanas veids, kā arī daudz vairāk laika.

Sākotnēji tas parādījās mūsu AI informatīvajā izdevumā The Algorithm. Lai tas tiktu tieši piegādāts jūsu iesūtnē, reģistrējieties šeit bez maksas.

paslēpties