211service.com
Vai mākslīgais intelekts uzvarēs parakstu konkursā?
Kad sociālo mediju lietotāji augšupielādē fotogrāfijas un pievieno tām parakstus, viņi ne tikai marķē to saturu. Viņi stāsta stāstu, kas fotogrāfijām piešķir kontekstu un papildu emocionālo nozīmi.
UZ publicēts papīrs Microsoft Research apraksta attēlu parakstu sistēmu, kas atdarina cilvēku unikālo vizuālās stāstīšanas stilu. Uzņēmumi, piemēram, Microsoft, Google un Facebook, ir pavadījuši vairākus gadus, mācot datorus marķēt attēlu saturu, taču šis jaunais pētījums sper soli tālāk, mācot uz neironu tīklu balstītu sistēmu secināt stāstu no vairākiem attēliem. Kādreiz to varētu izmantot, lai automātiski ģenerētu attēlu kopu aprakstus vai nodrošinātu cilvēkiem līdzīgu valodu citās mākslīgā intelekta lietojumprogrammās.
Tā vietā, lai sniegtu mīlīgus vai vaniļas aprakstus par to, kas notiek attēlos, mēs tos ievietojam plašākā stāstījuma kontekstā, saka Frenks Feraro, Džona Hopkinsa universitātes doktorants, kurš bija darba līdzautors. Jūs varat sākt izdarīt iespējamos secinājumus par to, kas varētu notikt.
Apsveriet iespēju izveidot attēlu albumu, kurā ir attēlota draugu grupa, kas svin dzimšanas dienu bārā. Dažās no agrīnajām bildēm ir redzams, kā cilvēki pasūta alu un dzer to, savukārt vēlākā fotoattēlā kāds guļ uz dīvāna.
Parakstu sistēma varētu vienkārši teikt: 'Cilvēks, kas guļ uz dīvāna,' saka Ferraro. Bet stāstu sistēma varētu pateikt: 'Nu, ja es domāju, ka šie cilvēki ballējās vai ēda un dzēra, tad šis cilvēks var būt piedzēries.'
Viens no dokumentā minētajiem piemēriem ietver piecu attēlu sēriju. Tajos redzama ģimene, kas pulcējusies pie galda, vēžveidīgo šķīvis, suns un attēli no pludmales. Neironu tīkls tos aprakstīja ar stāstu lasīšanu, Ģimene sanāca kopā, lai pagatavotu ēdienu. Viņiem bija daudz garšīgu ēdienu. Suns priecājās, ka tur atradās. Viņi lieliski pavadīja laiku pludmalē. Viņi pat peldējās ūdenī.
Komanda, kuru vadīja Microsoft pētniece Mārgareta Mičela un kurā bija tādi Microsoft praktikanti kā Ferraro un pētnieks no Facebook AI, pārveidoja to, ko sauc par secīgu secību atkārtotu neironu tīklu par stāstnieku, apmācot to ar attēliem, kas iegūti no Flickr. Viņiem bija palīgi, kas uzrakstīja parakstus atsevišķiem attēliem un attēlu sērijām noteiktās secībās.
Izmantojot pieeju, kas ir līdzīga tai, ko izmanto atsevišķu fotoattēlu satura marķēšanai, tika radīti pārāk vispārīgi stāsti. Lai to novērstu, komanda izstrādāja veidu, kā tīkls varētu izvēlēties vārdus, kas varētu būt vizuāli pamanāmi. Viņi arī prasīja, lai sistēma neatkārtotu vārdus.
Stāstīšana ir svarīga cilvēka būtības sastāvdaļa, saka Stanford Vision Lab direktors Fei-Fei Li, kurš nepiedalījās pētījumā. Tehnoloģijai, kas var atdarināt cilvēku stāstu dokumentēšanas paņēmienus, jāspēj veikt savstarpējas atsauces uz objektiem un varoņiem, kas redzami vairākos attēlos, un secināt attiecības starp cilvēkiem, objektiem un vietām.
Li saka, ka publicētais raksts ir tikai sākums šāda veida tehnoloģijai. Taču tas ir labs solis uz priekšu, lai sāktu risināt tik vērienīgu projektu. Ar nepacietību gaidu šo un citu autoru turpmāko darbu.