Google Deep Learning Machine mācās sintezēt reālās pasaules attēlus

Google Street View piedāvā panorāmas skatus uz vairāk vai mazāk jebkuru pilsētas ielu lielākajā daļā attīstītās pasaules, kā arī skatus pa neskaitāmām gājēju takām, iepirkšanās centru iekšpusi, kā arī ap muzejiem un mākslas galerijām. Tas ir neparasts mūsdienu inženierijas varoņdarbs, kas maina mūsu domāšanas veidu par apkārtējo pasauli.

Bet, lai gan Ielas attēls var parādīt, kā izskatās attālas vietas, tas neparāda, kāds būtu ceļošanas vai izpētes process. To ir viegli izdomāt: vienkārši atskaņojiet ielas attēla attēlu secību vienu pēc otra, lai izveidotu filmu.

Bet tas nedarbojas tik labi, kā jūs varētu iedomāties. Palaižot šos attēlus ar ātrumu 25 kadri sekundē vai aptuveni, ainava kļūst smieklīgi ātra. Tas var būt pieņemami, ja ainava nemainās, iespējams, gar automaģistrālēm un automaģistrālēm vai nemainīgām ainavām. Bet tas ir pilnīgi nepieņemami aizņemtiem ielas skatiem vai mākslas galerijā.

Tāpēc Google ir nācis klajā ar risinājumu: pievienojiet papildu kadrus starp tiem, kurus ieraksta Ielas attēla kameras. Bet kādiem vajadzētu izskatīties šiem rāmjiem?

Šodien Džons Flinns un draugi no Google atklāj, kā viņi ir izmantojuši uzņēmuma plašo mašīnmācīšanās zinātību, lai noskaidrotu, kā šiem trūkstošajiem kadriem vajadzētu izskatīties, vienkārši pētot abās pusēs esošos kadrus. Rezultāts ir skaitļošanas filmu mašīna, kas var pārvērst vairāk vai mazāk jebkuru attēlu secību vienmērīgi darbojošā filmā, interpolējot trūkstošos kadrus.

Izaicinājums, ko Flinns un kolēģi izvirzīja sev, ir vienkāršs. Ņemot vērā noteiktas vietas attēlu kopu, mērķis ir sintezēt jaunu tās pašas zonas attēlu no cita skata leņķa.

Tas nav viegli. Precīzam risinājumam būtu nepieciešamas pilnīgas 3-D zināšanas par visu redzamo ģeometriju neredzamajā skatā, kas parasti nav pieejams aizsprostotāju dēļ, saka Flinns un citi.

Patiešām, tā ir problēma, ko datorzinātnieki ir skrāpējuši vairākus gadu desmitus, un problēma ir cieši saistīta ar ainas 3-D formas aplēses problēmu, ņemot vērā divus vai vairākus tās attēlus.

Datorzinātnieki ir izstrādājuši dažādus šīs problēmas risināšanas veidus, taču visi cieš no līdzīgām problēmām, īpaši gadījumos, kad trūkst informācijas, jo viens objekts aizsedz otru. Tas noved pie plīsumiem, kur nav pietiekami daudz informācijas, un sīku detaļu pazušanu. Īpašs izaicinājums ir objekti, kas satur smalkas detaļas un ir arī pašizslēdzoši, piemēram, koki.

Flinns un kolēģi jaunā pieeja ir apmācīt mašīnredzes algoritmu, lai noskaidrotu, kā jaunajam attēlam vajadzētu izskatīties, ja tas ir apmācīts, izmantojot plašu secīgu attēlu datu kopu.

Datora uzdevums ir uzskatīt katru attēlu kā pikseļu kopu un noteikt katra pikseļa dziļumu un krāsu, ņemot vērā atbilstošo pikseļu dziļumu un krāsu attēlos, kas filmā parādīsies pirms un pēc tā.

Viņi apmācīja savu algoritmu, ko sauc par DeepStereo, izmantojot ielu ainu attēlus, kas uzņemti ar kustīgu transportlīdzekli. Patiešām, viņi izmanto 100 000 no šīm sekvencēm kā apmācības datu kopu.

Pēc tam viņi to pārbaudīja, noņemot vienu kadru no ielas attēla attēlu secības un lūdzot to reproducēt, aplūkojot tikai pārējos secības attēlus. Visbeidzot, viņi salīdzina sintezēto attēlu ar to, kas tika noņemts, dodot viņiem sava veida zelta standartu, ar ko to kontrastēt.

Rezultāti ir iespaidīgi. Kopumā mūsu modelis rada ticamus rezultātus, kurus ir grūti uzreiz atšķirt no oriģinālajiem attēliem, saka Flinns un citi.

Tas veiksmīgi atveido sarežģītus objektus, piemēram, kokus un zāli. Un, ja tas neizdodas, piemēram, ar spoguļattēlu, tas to dara graciozi, nevis saplēšot.

Jo īpaši tas labi tiek galā ar kustīgiem objektiem. Viņi saka, ka tie šķiet izplūduši tādā veidā, kas izraisa kustības izplūšanu.

Tomēr metode nav ideāla. Ievērojami artefakti mūsu rezultātos ietver nelielu izšķirtspējas zudumu un plānu priekšplāna struktūru pazušanu, saka Google komanda. Un daļēji aizsegti subjekti izvadē mēdz būt pārāk izplūduši.

Tas ir arī skaitļošanas ietilpīgs. Flinns un kolēģi apgalvo, ka viena tikko sintezēta attēla izveidošana daudzkodolu darbstacijā prasa 12 minūtes. Tāpēc šos attēlus nevar izveidot lidojuma laikā. Tomēr komanda plāno to uzlabot nākotnē, optimizējot attēlu ģenerēšanas procesu.

Tas ir iespaidīgs darbs, kas vēlreiz parāda dziļas mācīšanās metožu potenciālu. Komanda demonstrē savus rezultātus šeit ievietots video , kurā tiek rādītas filmas, kas veidotas no Ielas attēla datiem.

Bet tai vajadzētu būt arī citām lietojumprogrammām telekonferenču, virtuālās realitātes un kinematogrāfijas satura ģenerēšanai. Tas pat varētu samazināt apstāšanās kadru animatoru darba slodzi.

Jebkurā gadījumā sagaidiet, ka Google Street View ceļojumu filmas ne pārāk tālā nākotnē pārpludinās tīmekli.

Atsauce: arxiv.org/abs/1506.06825 : DeepStereo: mācīšanās paredzēt jaunus skatus no pasaules attēliem

paslēpties