Tas varētu radīt nākamo lielo izrāvienu veselā saprāta AI jomā

Ms Tech | Pexels

Jūs droši vien esat dzirdējuši mūs to sakām neskaitāmas reizes: GPT-3, milzīgs mākslīgais intelekts, kas izspiež neparasti cilvēkiem līdzīgu valodu, ir brīnums. Tas arī lielā mērā skatīties . To var pateikt ar vienkāršu triku: pajautājiet aitu krāsa , un tā būs ieteikt melns tikpat bieži kā balts — tas atspoguļo frāzi melnā aita mūsu tautas valodā.

Tā ir problēma ar valodu modeļiem: tā kā viņi ir apmācīti tikai ar tekstu, viņiem trūkst veselā saprāta. Tagad pētnieki no Ziemeļkarolīnas universitātes Chapel Hill ir izstrādājuši jaunu paņēmienu, lai to mainītu. Viņi to sauc par vokenizāciju, un tas dod valodu modeļiem, piemēram, GPT-3, iespēju redzēt.

Tā nav pirmā reize, kad cilvēki ir mēģinājuši apvienot valodas modeļus ar datorredzi. Patiesībā šī ir strauji augoša AI pētniecības joma. Ideja ir tāda, ka abiem AI veidiem ir dažādas stiprās puses. Valodu modeļi, piemēram, GPT-3, tiek apmācīti bez uzraudzības, kam nav nepieciešama manuāla datu marķēšana, tāpēc tos ir viegli mērogot. Turpretim attēlu modeļi, piemēram, objektu atpazīšanas sistēmas, mācās vairāk tieši no realitātes. Citiem vārdiem sakot, viņu izpratne nepaļaujas uz pasaules abstrakciju, ko nodrošina teksts. Viņi var redzēt no aitu attēliem, ka patiesībā tās ir baltas.

Saistīts stāsts

Šīs dīvainās, satraucošās fotogrāfijas parāda, ka mākslīgais intelekts kļūst gudrāks Modeļi mācās ģenerēt attēlus no parakstiem, kas liecina, ka viņi arvien labāk izprot mūsu pasauli.

AI modeļiem, kas var parsēt gan valodu, gan vizuālo ievadi, ir arī ļoti praktiski pielietojumi. Piemēram, ja mēs vēlamies izveidot robotizētus palīgus, viņiem ir nepieciešama datora redze, lai pārvietotos pa pasauli, un valoda, lai par to informētu cilvēkus.

Taču abu veidu AI apvienošana ir vieglāk pateikt nekā izdarīt. Tas nav tik vienkārši, kā esoša valodas modeļa skavošana kopā ar esošu objektu atpazīšanas sistēmu. Tas prasa apmācīt jaunu modeli no jauna ar datu kopu, kas ietver tekstu un attēlus, ko citādi sauc par vizuālās valodas datu kopu.

Visizplatītākā pieeja šādas datu kopas kurēšanai ir attēlu kolekcijas apkopošana ar aprakstošiem parakstiem. Piemēram, zemāk redzamajam attēlam būtu uzraksts Oranžs kaķis sēž koferī un ir gatavs iesaiņošanai. Tas atšķiras no tipiskām attēlu datu kopām, kas apzīmētu vienu un to pašu attēlu tikai ar vienu lietvārdu, piemēram, kaķis. Tāpēc vizuālās valodas datu kopa var iemācīt AI modelim ne tikai atpazīt objektus, bet arī to, kā tie ir saistīti un darbojas viens ar otru, izmantojot darbības vārdus un prievārdus.

Bet jūs varat redzēt, kāpēc šis datu pārraudzības process būtu ilgstošs. Tāpēc esošās vizuālās valodas datu kopas ir tik niecīgas. Populārā teksta datu kopā, piemēram, angļu Wikipedia (kurā patiešām ir iekļauti gandrīz visi angļu valodas Vikipēdijas ieraksti), var būt gandrīz 3 miljardi vārdu. Vizuālās valodas datu kopa, piemēram, Microsoft Common Objects in Context vai MS COCO, satur tikai 7 miljonus. Vienkārši nepietiek datu, lai apmācītu AI modeli kaut kam noderīgam.

Vokenizācija novērš šo problēmu, izmantojot nepārraudzītas mācīšanās metodes, lai mērogotu nelielo datu apjomu MS COCO līdz angļu Wikipedia izmēram. Rezultātā iegūtais vizuālās valodas modelis pārspēj jaunākos modeļus dažos grūtākajos testos, ko mūsdienās izmanto, lai novērtētu AI valodas izpratni.

Šajos testos jūs nepārspēsiet jaunākos sasniegumus, tikai nedaudz pamēģinot, saka Tomass Volfs, dabiskās valodas apstrādes jaunuzņēmuma Hugging Face līdzdibinātājs un galvenais zinātnes darbinieks, kurš nepiedalījās pētījumā. Šis nav rotaļlietu tests. Tāpēc tas ir ļoti aizraujoši.

No žetoniem līdz vokeniem

Vispirms sakārtosim kādu terminoloģiju. Kas pie velna ir vokens?

AI runā vārdus, kas tiek izmantoti valodu modeļu apmācīšanai, sauc par marķieriem. Tāpēc UNC pētnieki nolēma attēlu, kas saistīts ar katru marķieri viņu vizuālās valodas modelī, nosaukt par vokenu. Vokenizators ir tas, ko viņi sauc par algoritmu, kas atrod vokenus katram marķierim, un vokenizācija ir tas, ko viņi sauc par visu procesu.

Tā mērķis nav tikai parādīt, cik ļoti AI pētniekiem patīk izdomāt vārdus. (Viņi patiešām to dara.) Tas arī palīdz nojaukt vokenizācijas pamatideju. Tā vietā, lai sāktu ar attēla datu kopu un manuāli rakstītu teikumus, lai tie kalpotu kā paraksti — tas ir ļoti lēns process, UNC pētnieki sāka ar valodas datu kopu un izmantoja bez uzraudzības mācīšanos, lai katru vārdu saskaņotu ar atbilstošu attēlu (vairāk par to vēlāk). Šis ir ļoti mērogojams process.

Nepārraudzītā mācīšanās tehnika šeit galu galā ir darba ieguldījums. Kā jūs faktiski atrodat katram vārdam atbilstošu attēlu?

Vokenizācija

Uz brīdi atgriezīsimies pie GPT-3. GPT-3 ir daļa no valodu modeļu saimes, kas pazīstamas kā transformatori un kas bija nozīmīgs izrāviens, piemērojot mācīšanos bez uzraudzības dabiskās valodas apstrādē, kad pirmais tika ieviests 2017. gadā. Transformatori apgūst cilvēku valodas modeļus, vērojot, kā notiek vārdi. izmanto kontekstā un pēc tam izveido katra vārda matemātisko attēlojumu, kas pazīstams kā vārda iegulšana, pamatojoties uz šo kontekstu. Vārda kaķis iegulšana var liecināt, piemēram, ka tas tiek bieži lietots ap vārdiem ņau un oranžs, bet retāk ap vārdiem miza vai zils.

Tas ir veids, kā transformatori tuvina vārdu nozīmes un kā GPT-3 var rakstīt šādus cilvēkiem līdzīgus teikumus. Tas daļēji balstās uz šiem iegulumiem, lai pateiktu, kā vārdus apvienot teikumos un teikumus rindkopās.

Ir paralēla tehnika, ko var izmantot arī attēliem. Tā vietā, lai skenētu tekstu, lai meklētu vārdu lietojuma modeļus, tas skenē attēlus, lai meklētu vizuālus modeļus. Tajā norādīts, cik bieži kaķis, piemēram, parādās uz gultas, salīdzinot ar koku, un izveido kaķa iegulšanu ar šo kontekstuālo informāciju.

UNC pētnieku ieskats bija tāds, ka viņiem vajadzētu izmantot abas iegulšanas metodes MS COCO. Viņi pārveidoja attēlus vizuālos iegulumos un parakstus vārdu iegulumos. Šajos iegulumos ir tas, ka pēc tam tos var attēlot trīsdimensiju telpā, un jūs varat burtiski redzēt, kā tie ir saistīti viens ar otru. Vizuālie ieguljumi, kas ir cieši saistīti ar vārdu iegulšanu, diagrammā tiks parādīti tuvāk. Citiem vārdiem sakot, vizuālajai kaķa iegulšanai (teorētiski) jāpārklājas ar teksta kaķa iegulšanu. Diezgan vēss.

Jūs varat redzēt, kur tas notiek. Kad visi iegultie elementi ir grafiski un salīdzināti un saistīti viens ar otru, ir viegli sākt attēlu (vokenu) saskaņošanu ar vārdiem (tokeniem). Un atcerieties, jo attēli un vārdi tiek saskaņoti, pamatojoties uz to iegulšanu, tie tiek saskaņoti arī, pamatojoties uz kontekstu. Tas ir noderīgi, ja vienam vārdam var būt pilnīgi atšķirīga nozīme. Šis paņēmiens veiksmīgi tiek galā ar to, katram vārdam atrodot dažādus vārdus.

Piemēram:

Šeit ir viņa kontaktpersona.

Daži kaķi mīl cilvēkus kontaktpersona .

Token ir vārds kontakts abos piemēros. Bet pirmajā teikumā konteksts liek domāt, ka vārds attiecas uz kontaktinformāciju, tāpēc voken ir kontaktpersonas ikona. Otrajā teikumā konteksts liek domāt, ka vārds attiecas uz pieskārienu, tāpēc vokens parāda, ka kaķis tiek glāstīts.

Pētnieki izmantoja vizuālo un vārdu iegulšanu, ko viņi izveidoja ar MS COCO, lai apmācītu savu vokenizera algoritmu. Pēc tam, kad vokenizētājs bija apmācīts, viņš varēja atrast žetonu vokenus angļu Vikipēdijā. Tas nav ideāls. Algoritms vokenus atrada tikai aptuveni 40% tokenu. Bet tie joprojām ir 40% no datu kopas, kurā ir gandrīz 3 miljardi vārdu.

Izmantojot šo jauno datu kopu, pētnieki pārkvalificēja valodas modeli, kas pazīstams kā BERT — Google izstrādātais atvērtā koda transformators, kas ir pirms GPT-3. Pēc tam viņi pārbaudīja jauno un uzlaboto BERT sešos dažādos valodas izpratnes testos, tostarp SQuAD, Stanford Question Answering Dataset, kurā modeļiem tiek lūgts atbildēt uz lasīšanas izpratnes jautājumiem par rakstu sērijām, un SWAG, kas mēģina paklupt modeļus ar niansēm. angļu valodu, lai pārbaudītu, vai tā ir tikai atdarināšana un iegaumēšana. Uzlabotā BERT darbojās labāk visos gadījumos, par ko Vilks saka, ka nav par ko šķaudīt.

Pētnieki, doktorants Hao Tans un viņa padomnieks Mohits Bansals, divu nedēļu laikā prezentēs savu jauno vokenizācijas paņēmienu konferencē par empīriskām metodēm dabiskās valodas apstrādē. Kamēr darbs vēl ir agrs, Vilks viņu darbu uzskata par svarīgu konceptuālu izrāvienu, lai bez uzraudzības iegūtu mācīšanos strādāt vizuālās valodas modeļiem. Tā bija līdzīga dzirkstele, kas toreiz palīdzēja ievērojami uzlabot dabiskās valodas apstrādi.

Viņš saka, ka NLP mēs piedzīvojām šo milzīgo izrāvienu pirms vairāk nekā diviem gadiem, un tad pēkšņi NLP kļuva par jomu, kurā notika daudzas lietas, un tā apsteidza visas pārējās AI jomas. Bet mums ir problēma, kas saistīta ar teksta savienošanu ar citām lietām. Tātad tas ir kā šis robots, kas spēj tikai runāt, bet nevar redzēt, nedzird.

Šis raksts ir viens no piemēriem, kad viņiem izdevās to savienot ar citu modalitāti, un tas darbojas labāk , viņš saka. Jūs varētu iedomāties, ka dažas no šīm metodēm varētu tikt izmantotas atkārtoti, ja vēlaties izmantot šo patiešām jaudīgo valodas modeli robotā. Varbūt jūs izmantojat to pašu, lai savienotu robota maņas ar tekstu.

paslēpties