Šīs dīvainās, satraucošās fotogrāfijas parāda, ka mākslīgais intelekts kļūst gudrāks

Allena AI institūts

No visiem AI modeļiem pasaulē, OpenAI GPT-3 ir visvairāk aizrāvis sabiedrības iztēli. Tas var izspiest dzejoļus, īsus stāstus un dziesmas ar nelielu pamudinājumu, un tas ir pierādīts lai apmānītu cilvēkus domāt, ka tā rezultātus ir uzrakstījis cilvēks. Bet tā daiļrunība ir vairāk kā salona triks, ko nedrīkst jaukt ar īstu inteliģenci.

Tomēr pētnieki uzskata, ka GPT-3 izveidei izmantotās metodes varētu ietvert progresīvākas AI noslēpumu. GPT-3 apmācīja milzīgu teksta datu daudzumu. Kā būtu, ja tās pašas metodes būtu apmācītas gan tekstam, gan attēliem?

Tagad jaunais Allena Mākslīgā intelekta institūta AI2 pētījums ir pārcēlis šo ideju uz nākamo līmeni. Pētnieki ir izstrādājuši jaunu teksta un attēla modeli, kas citādi pazīstams kā vizuālās valodas modelis, kas var ģenerēt attēlus ar parakstu. Attēli izskatās satraucoši un dīvaini — nekas līdzīgs hiperreālistiskajiem dziļajiem viltojumiem ģenerē GAN — bet tie varētu demonstrēt daudzsološu jaunu virzienu, lai sasniegtu vispārināmāku intelektu un, iespējams, arī gudrākus robotus.

Aizpildiet tukšo vietu

GPT-3 ir daļa no modeļu grupas, kas pazīstama kā transformatori un kas pirmo reizi kļuva populārs ar Google BERT panākumiem. Pirms BERT valodu modeļi bija diezgan slikti. Viņiem bija pietiekami daudz prognozēšanas spējas, lai tās būtu noderīgas tādām lietojumprogrammām kā automātiskā pabeigšana, taču nepietiek, lai izveidotu garu teikumu, kas atbilst gramatikas noteikumiem un veselajam saprātam.

BERT to mainīja, ieviešot jaunu tehniku, ko sauc maskēšana . Tas ietver dažādu vārdu slēpšanu teikumā un lūgumu modelim aizpildīt tukšo vietu. Piemēram:

• Sieviete devās uz ___ trenēties.
• Viņi nopirka ___ maizes, lai pagatavotu sviestmaizes.

Ideja ir tāda, ka, ja modelis ir spiests veikt šos vingrinājumus, bieži vien miljoniem reižu, tas sāk atklāt modeļus, kā vārdi tiek apkopoti teikumos un teikumi rindkopās. Rezultātā tas var labāk ģenerēt, kā arī interpretēt tekstu, tuvinot to valodas nozīmes izpratnei. (Google tagad izmanto BERT, lai savā meklētājprogrammā rādītu atbilstošākus meklēšanas rezultātus .) Pēc tam, kad maskēšana izrādījās ļoti efektīva, pētnieki mēģināja to izmantot vizuālās valodas modeļos, paslēpjot vārdus parakstos, piemēram:

____ stāv uz netīras zemes pie koka.

AI2

Šoreiz modele varēja aplūkot gan apkārtējos vārdus un attēla saturu, kas jāaizpilda tukšajā vietā. Izmantojot miljoniem atkārtojumu, tas varētu atklāt ne tikai modeļus starp vārdiem, bet arī attiecības starp vārdiem un elementiem katrā attēlā.

Rezultāts ir modeļi, kas spēj saistīt teksta aprakstus ar vizuālām atsaucēm — tāpat kā mazuļi var izveidot savienojumu starp vārdiem, ko viņi mācās, un lietām, ko viņi redz. Modeļi var aplūkot, piemēram, zemāk redzamo fotoattēlu un uzrakstīt saprātīgu parakstu, piemēram, Sievietes spēlē lauka hokeju. Vai arī viņi var atbildēt uz jautājumiem par to, piemēram, kāda ir bumbiņas krāsa? savienojot vārda bumbiņu ar apļveida objektu attēlā.

Modele vizuālā valodā varētu saprātīgi pievienot šim fotoattēlam parakstu: 'Sievietes spēlē lauka hokeju'.

DŽONS TORKASIO / UNSPLASH

Attēls ir tūkstoš vārdu vērts

Bet AI2 pētnieki vēlējās uzzināt, vai šie modeļi patiešām ir attīstījuši konceptuālu izpratni par vizuālo pasauli. Bērns, kurš ir iemācījies priekšmeta vārdu, var ne tikai uzburt vārdu, lai identificētu objektu, bet arī uzzīmēt objektu, kad tiek prasīts ar vārdu, pat ja objekta nav. Tāpēc pētnieki lūdza modeļus darīt to pašu: ģenerēt attēlus no parakstiem. Tā vietā viņi visi izspļauj nejēdzīgus pikseļu modeļus.

Tas ir putns! Tā ir lidmašīna! Nē, tas ir tikai AI ģenerēts gobbledygook.

AI2

Tas ir loģiski: tekstu pārveidot par attēliem ir daudz grūtāk nekā otrādi. Paraksts nenorāda visu, kas ietverts attēlā, saka Ani Kembhavi, kas vada AI2 datorredzes komandu. Tāpēc modelim ir jābalstās uz veselo saprātu par pasauli, lai aizpildītu detaļas.

Ja tiek lūgts uzzīmēt, piemēram, žirafi, kas staigā pa ceļu, tai ir arī jāsecina, ka ceļš, visticamāk, būs pelēks nekā rozā un biežāk atrodas blakus zāles laukam, nevis okeānam. lai gan neviena no šīs informācijas nav skaidri norādīta.

Tāpēc Kembhavi un viņa kolēģi Jaemin Cho, Jiasen Lu un Hannaneh Hajishirzi nolēma noskaidrot, vai viņi varētu iemācīt modelim visas šīs netiešās vizuālās zināšanas, pielāgojot savu pieeju maskēšanai. Tā vietā, lai apmācītu modeli tikai paredzēt maskētus vārdus atbilstošo fotoattēlu parakstos, viņi arī apmācīja to paredzēt maskētos pikseļus fotoattēlos, pamatojoties uz tiem atbilstošajiem parakstiem.

Modeļa ģenerētie galīgie attēli nav īsti reālistiski. Bet tas nav galvenais. Tie satur pareizos augsta līmeņa vizuālos jēdzienus — mākslīgā intelekta ekvivalentu bērnam, kurš zīmē nūjas figūriņu, lai attēlotu cilvēku. (Jūs varat izmēģināt modeli pats šeit .)

AI2 modeļa ģenerēto attēlu piemēri no parakstiem zem tiem.

AI2

Vizuālās valodas modeļu spēja veikt šāda veida attēlu ģenerēšanu ir svarīgs solis uz priekšu AI izpētē. Tas liek domāt, ka modelis faktiski spēj sasniegt noteiktu abstrakcijas līmeni, kas ir pamata prasme pasaules izpratnei.

Ilgtermiņā tas varētu ietekmēt robotiku. Jo labāk robots izprot savu vizuālo vidi un izmanto valodu, lai par tiem sazinātos, jo sarežģītākus uzdevumus tas spēs veikt. Īstermiņā šāda veida vizualizācija varētu arī palīdzēt pētniekiem labāk saprast, ko tieši melnās kastes AI modeļi mācās, saka Hajishirzi.

Turpinot darbu, komanda plāno vairāk eksperimentēt, lai uzlabotu attēla ģenerēšanas kvalitāti un paplašinātu modeļa vizuālo un lingvistisko vārdu krājumu, iekļaujot tajā vairāk tēmu, objektu un īpašības vārdu.

Attēlu ģenerēšana patiešām ir bijusi trūkstošais puzles gabals, saka Lu. Iespējojot to, mēs varam likt modelim apgūt labākus priekšstatus, lai pārstāvētu pasauli.

paslēpties