Microsoft jauna spīdīga rotaļlieta

Pagājušā gada martā notikušajā Tehnoloģiju, izklaides, dizaina (TED) konferencē Monterejā, Kalifornijā, augstākā līmeņa sanāksmē, ko digerati dēvēja par Davosu, Microsoft mierīga balss programmatūras arhitekts pēkšņi sāka savu demonstrāciju, ātri pārvietojoties pa attēlu jūru, kas tika parādīta liels ekrāns. Izmantojot Seadragon — tehnoloģiju, kas nodrošina vienmērīgu un ātru lielu teksta un attēlu datu kopu izpēti, viņš bez piepūles iekļuva 300 megapikseļu kartē, tuvinot to, lai vienā stūrī atklātu datuma zīmogu no Kongresa bibliotēkas. Pēc tam viņš pievērsās attēlam, kas izskatījās pēc svītrkoda, bet patiesībā bija viss Čārlza Dikensa teksts Drūmā māja , tuvinot, līdz ekrānu aizpildīja divas rakstzīmes ar skaidrām malām, un pēc tam vēsai tuvināšanai atpakaļ uz milzīgo teksta un attēlu segu.

Tu esi šeit: Photosynth, lietojumprogramma, kas tiek izstrādāta Microsoft Live Labs, piedāvā iespaidīgu veidu, kā skatīt noteiktas lietas vai vietas fotoattēlus. Programmatūra vēl nav izlaista, bet Microsoft demonstrē to tiešsaistē ar fotoattēlu kolekcijām, piemēram, šo vienu no Venēcijas Svētā Marka laukuma.

Iepriekšējā gadā Microsoft iegādājās Seadragon un līdz ar to arī prezentācijas vadītāju Blēzu Agueru un Arkasu. Bet Agüera y Arcas nebija ieradušies uz TED tikai tāpēc, lai parādītu Seadragon. Drīz viņš uzgrieza panorāmu, kas apvienota no Kanādas Klinšu kalnu fotogrāfijām; mozaīka mainījās, kad viņš panoramēja to, atklājot dramatisku grēdu. Tālāk sekoja gaisa skats uz to, kas, šķiet, bija pazīstamas ēkas modelis: Dievmātes katedrāle. Modelis, paskaidroja Agüera y Arcas, bija salikts no simtiem atsevišķu attēlu, kas savākti no Flickr. Tas bija punktu mākonis — punktu kopums trīsdimensiju telpā.

Šis stāsts bija daļa no mūsu 2008. gada marta numura

• Skatiet pārējo izdevuma daļu
• Abonēt

Kamēr viņš runāja, Aguera un Arkass ķircinoši kuģoja pa Dievmātes katedrāles perifēriju, kas vairākkārt atdzīvojās un atkal kļuva blāvs. Smalki pārejas efekti tika mīkstināti, mainot attēlus un fokusa punktus. Tas šķita kā apzināti palēnināta animācijas ruļļa kadrs pa kadram; efekts bija satriecošs. Pūlis ar izbrīnu vēroja, kā Agüera y Arcas iespiedās dziļāk ēkas arkas priekšējā skatā, beidzot ar gargoila tuvplānu. Daži attēli, uz kuriem tehnoloģija bija zīmējusi, pat nebija stingri fotogrāfiski: tā Flickr bija meklējusi visus atbilstošos attēlus, tostarp katedrāles plakātu. Tas, ko Agüera y Arcas demonstrēja, nebija video, bet arī tā nebija tikai fotoattēlu kolekcija, pat milzīga. Tā bija arī kā karte, taču tā bija ieskaujoša, ko animēja sapņu loģika, kas rada izplūdušo formu un mainīgo perspektīvu.

Šī bija Photosynth — tehnoloģija, kas analizē saistītos attēlus un saista tos, lai no jauna izveidotu fizisku vidi žilbinošā virtuālajā telpā. Tehnoloģija rada metaversu, teica Agüera y Arcas (plašāku informāciju par topošo kartēšanas tehnoloģiju, piemēram, Google Earth, un tādu spēļu fantastiskajām jomām kā Second Life sajaukšanu skatiet 2007. gada jūlijā/augustā). taču tā ir arī Microsoft Google Earth konkurenta Virtual Earth garā aste, jo tā spēj smelties un sniegt ieguldījumu vietējo kartēšanas un attēlu datu bagātībā, kas pieejami tiešsaistē. Viņš teica, ka tas varētu nodrošināt ārkārtīgi bagātīgus katras interesantās zemes daļas virtuālos modeļus, kas savākti ne tikai no gaisa lidojumiem un satelīta attēliem un tā tālāk, bet arī no kolektīvās atmiņas. Tajā brīdī prezentācija beidzās tikpat pēkšņi, kā tā bija sākusies kādas sešas minūtes iepriekš. Agüera y Arcas noslēguma paziņojums tika sagaidīts ar pērkoniem aplausiem.

Multivide

• Skatiet attēlus no Photosynth un uzziniet, kā tas darbojas.

• Skatieties kopā Photosynth šūšanas fotoattēlus.

Ārpus attēlu sašūšanas
Photosynth radās no tā, ko Agüera y Arcas sauc par Seadragon un Photo Tourism laulībām, kas ir Microsoft projekts, kura mērķis ir mainīt veidu, kā foto kopas tiek iesaiņotas un parādītas. Fototūrisms bija aizsākts kā dedzīga 26 gadus veca Vašingtonas universitātes absolventa Noa Snavelija doktora disertācija. Viens no Snavely padomniekiem bija Riks Szeliski, uzņēmuma Microsoft Research, uzņēmuma pētniecības un attīstības nodaļas, datorredzes pētnieks. Es aprakstīju vajadzību pēc spēcīgas slaidrādes labiem elementiem, piemēram, lieliskas kompozīcijas, atceras Szeliski, kura agrākais darbs pie Microsoft bija palīdzējis izstrādāt attēlu savienošanas tehnoloģiju, ko tagad parasti izmanto digitālajās kamerās, lai aizpildītu platāku vai garāku kadru. Viņš arī meklēja plūstamību starp attēliem un interaktivitātes sajūtu to apskatē.

Strādājot ar Szeliski un Vašingtonas universitātes profesoru Stīvu Seicu, Snavely bija nolēmis izdomāt ceļu uz priekšu, izmantojot skaitļošanas ziņā aizliedzošu izaicinājumu: kā panākt, lai fotoattēli, pamatojoties uz to līdzībām, sapludinātos fiziskā 3-D modelī, ko cilvēks spēj radīt. acis varētu atpazīt kā daļu no autentiskas, reālās pasaules ainavas. Turklāt modelim ir jābūt tādam, kurā lietotāji varētu orientēties un telpisku pieredzi. Esošā fotoattēlu sašūšanas programmatūra, ko izmantoja elektroniskās ierīcēs, piemēram, digitālajās kamerās, zināja, kā secināt attēlu attiecības no to uzņemšanas secības. Taču Snavely mēģināja izstrādāt programmatūru, kas varētu veikt šādus novērtējumus pavisam citā veidā. Viņš izstrādāja divpakāpju procesu: pirmajā solī mēs identificējam svarīgākos punktus visos divdimensiju attēlos, viņš saka. Tad mēs mēģinām izdomāt, kuri punkti dažādos attēlos atbilst vienam un tam pašam punktam 3-D.

Snavely saka, ka šo procesu sauc par 'struktūru no kustības'. Būtībā kustīga kamera var izsecināt 3D struktūru. Tā ir tāda pati ideja kā tad, kad pārvietojat galvu uz priekšu un atpakaļ un varat labāk izprast skatāmā 3-D struktūru. Mēģiniet aizvērt vienu aci un pārvietot galvu no vienas puses uz otru: jūs redzat, ka dažādi punkti dažādos attālumos pārvietosies atšķirīgi. Šī ir kustības struktūras pamatideja.

Datorredze, kā skaidro Agüera y Arcas, gūst labumu no vienkāršas pārliecības: visi telpiskie dati ir kvantitatīvi nosakāmi. Viņš saka, ka katram telpas punktam ir tikai trīs brīvības pakāpes: x, y un z.

Viņš piebilst, ka atsevišķām fotogrāfijām kopīgie atribūti palīdz tās atzīmēt kā līdzīgas: teiksim, var atkārtoties parādīties izteiktas formas bruģakmens. Kad programmatūra atpazīst līdzības — šajā fotoattēlā parādās arī akmens, — tā zina meklēt turpmākas līdzības. Attēlu grupēšanas process, pamatojoties uz vizuāliem elementiem, tādējādi savāc tvaiku, līdz no šiem bruģakmeņiem var no jauna izveidot veselu ceļu. Jo vairāk attēlu sistēma sāk, jo reālistiskāks rezultāts, it īpaši, ja sākotnējie attēli ir uzņemti no dažādiem leņķiem un perspektīvām.

Tas ir tāpēc, ka otrais skaitļošanas uzdevums, Snavely saka, ir salīdzināt attēlus, kuros koplietojamās funkcijas ir attēlotas no dažādiem leņķiem. Izrādās, ka pirmais process palīdz otrajam, sniedzot mums informāciju par to, kur jābūt kamerām. Mēs varam atgūt skatu punktu, no kura tika uzņemts katrs fotoattēls, un, kad lietotājs atlasa fotoattēlu, viņš tiek novirzīts uz šo skatu. Katram attēlam ievietojot skatu punktu — aprēķinot, kur kamerai bija jāatrodas attēla uzņemšanas laikā, programmatūra var atdarināt binokulārās redzes darbību, radot 3 D efektu.

Tomēr, kā zināja Szeliski, cilvēka acs ir nepastāvīgākais kritiķis. Tāpēc viņš un viņa divi kolēģi centās darīt vairāk, nekā tikai salikt mazākas daļas lielākā veselumā; viņi arī strādāja pie pārejas efektiem, kuru mērķis ir ļaut attēliem satikties pēc iespējas nemanāmāk. Viņu uzlabotās metodes ietver izšķīdināšanu vai izbalēšanu, raksturīgo metodi, ar kuru filmu un video redaktori sajauc attēlus.

Demonstrācijā, kurā tika demonstrēta Trevi strūklaka Itālijā, Photo Tourism panāca niecīgu, elementāru Photosynth radītā versija: punktu mākoni, kas samontēts no attēliem, kas attēlo dažādas perspektīvas vienā vietā. Iespaidīgāka bija programmatūras spēja pārlūkot no Flickr lejupielādēto attēlu bankām, pamatojoties uz aprakstošiem tagiem — fotoattēliem, kas, protams, nebija uzņemti modeļa izgatavošanas nolūkos. Rezultāts, atceras Szeliski, bija pārsteidzošs un svaigs pat viņa veterāna acīm.

Mums bija jauns veids, kā vizualizēt fotoattēlu kolekciju, interaktīvu slaidrādi, saka Szeliski. Manuprāt, fototūrisms dažādu iemeslu dēļ pārsteidza gan iekšējās, gan nepiederošās personas. Iekšējās personas bija apmulsušas par pieredzes pārliecinošo vieglumu. Viņš saka, ka cilvēki no malas nespēja noticēt, ka tas vispār ir iespējams.

Un tomēr Photo Tourism lietojumprogrammai bija neskaidra nākotne. Lai gan tas bija tehnisks atklājums, kas izstrādāts operētājsistēmā Linux un varēja darboties operētājsistēmā Windows, tas joprojām bija prototips, un tā tālākas izstrādes ceļvedis nebija skaidrs.

2006. gada pavasarī, kad Snavely prezentēja Photo Tourism iekšējā Microsoft darbnīcā, Blaise Agüera y Arcas, toreizējais jaunais darbinieks, gāja garām un pamanīja. Viņš ieradās nesen, pateicoties viņa uzņēmuma Seadragon iegādei, kas izstrādāja lietojumprogrammu, ko viņš raksturo kā 3-D virtuālās atmiņas pārvaldnieku attēliem. Seadragon pārsteidzošā pievilcība bija tā, ka lietotāji var ielādēt, pārlūkot un manipulēt ar vēl nebijušu daudzumu vizuālās informācijas, un tā lieliskais tehniskais sasniegums bija spēja to izdarīt tīklā. (Tomēr PhotoSynth spēja strādāt ar attēliem no Flickr un tamlīdzīgiem materiāliem izriet no tehnoloģijas, kas radās ar Photo Tourism.)

Aguera y Arcas un Snavely tajā dienā sāka runāt. Līdz 2006. gada vasarai tika prezentētas demonstrācijas. Iegūtais hibrīdprodukts — daļa Fototūrisms un daļa Seadragon — apkopo lielu līdzīgu attēlu kopu (fotoattēlu vai ilustrāciju), apvienojot tos reālās pasaules objekta 3-D vizuālā modelī. Tas pat piešķir trīsdimensiju apgabaliem, kur tiek apvienoti 2-D fotoattēli. Katrs atsevišķs attēls tiek reproducēts ar perfektu precizitāti, bet pārejās starp tiem Photosynth aizpilda uztveres nepilnības, kas citādi neļautu fotoattēlu kolekcijai justies kā daļai no plašākas perspektīvas attēla. Turklāt sintezētais modelis ir ne tikai vizuāls reālās dzīves analogs, bet arī pilnībā navigējams. Kā skaidro Snavely, dominējošais navigācijas režīms ir nākamā apskatāmā fotoattēla izvēle, noklikšķinot uz vadīklām, un sistēma automātiski pārvieto skatu punktu 3D uz šo jauno vietu. Klīstošā acs ir laba metafora tam. Programmatūra no jauna izveido fotografēto objektu kā vietu, ko novērtēt no katra dokumentētā leņķa.

Photosynth pārsteidzošais tehniskais sasniegums ir kā truša izvilkšana no cepures: tas rada reālistisku 3-D interfeisu no 2-D fotografēšanas vides. Tas ir kaut kas no nekā, saka Aleksejs A. Efross, Kārnegija Melona profesors, kurš specializējas datorredzēšanā. Efros skaidro, ka noslēpums ir fotogrāfiju daudzums. Iegūstot arvien vairāk vizuālo datu, kvantitāte kļūst kvalitatīva, viņš saka. Kad jūs saņemat pārsteidzošu datu apjomu, tas sāk jums pastāstīt lietas, ko jūs iepriekš nezinājāt. Pateicoties uzlabotajai modeļu atpazīšanai, indeksācijai un metadatiem, mašīnas var secināt trīsdimensiju. Efros saka, ka ātrāk, nekā mēs gaidām, redze būs galvenais sensors mašīnām, tāpat kā tagad cilvēkiem.

Microsoft demonstrē Photosynth tiešsaistē ar fotoattēlu kolekcijām, piemēram, šo vienu no Venēcijas Svētā Marka laukuma. Šīs kolekcijas kadrus 10 dienu laikā uzņēmis viens fotogrāfs.
Kredīts: ar Microsoft Live Labs atļauju

Par ko tas varētu kļūt
Microsoft darbs pie Photosynth ir piemērs uzņēmuma stratēģijai 100 cilvēku lielai Live Labs. Daļēji tīmeklī balstīti skunks, daļa ir vieta propelleru vadītājiem, kuriem korporatīvās mātesuzņēmums nav piemērots, Live Labs daļēji cenšas izaicināt to, ko cilvēki domā par Microsoft, saka 40 gadus vecais Gerijs Fleiks. tehniskais līdzstrādnieks, kas ir laboratorijas dibinātājs un direktors. Tās tuvākais mērķis ir laist tirgū tīmekļa tehnoloģijas.

Pārsla prezentācija par Live Labs kultūru ir enerģiska, jo viņš stāsta par saviem centieniem apvienot pētniecības zinātni un produktu inženieriju. Flake, kurš ir strādājis daudzās pētniecības organizācijās, tostarp NEC Research Institute un Yahoo Research Labs, ko viņš nodibināja un arī vadīja, raksturo to kā nozares mēroga izaicinājumu. Viņš skaidro, ka Live Labs mums ir apzināts riska ierobežošanas portfelis. Mums ir ļoti interesants salikums, kas ietver 40 dažādus projektus.

Fleiks nevēlas detalizēti apspriest daudzus savus projektus, taču viņš ir sajūsmā par savu mandātu ieviest vairāk DNS neapstrādāta talanta veidā. Viņš saka, ka mēs vēlamies radīt un uzlabot interneta produktu un pakalpojumu stāvokli, taču viņš arī aizrautīgi runā par Live Labs darbiniekiem kā par Rozetas akmeņiem, kas var kalpot kā tulki pētniecības un attīstības pasaulē, kurā inženieri un zinātnieki bieži runā atšķirīgi. valodas.

Fleiks saka, ka Photosynth projekts iemieso tādus panākumus, kādus viņš vēlas gūt, cenšoties pārvarēt tradicionālo plaisu starp zinātni un produktu inženieriju. Tas ir nopietns jaunākais sasniegums.

Pašlaik Photosynth var redzēt tikai tiešsaistes demonstrācijā, bet Agüera y Arcas komanda cer to izlaist līdz gada beigām. Tas, ko kāds, kurš to iegādājas, faktiski var ar to darīt, vēl ir redzams. Punktu mākoņus var izveidot tikai no diviem vai trim attēliem, tāpēc var iedomāties, ka lietotāji veido salīdzinoši nesarežģītus savas fotogrāfijas sintēzes, piemēram, ģimenes ceļojumu uz Rašmora kalnu. (Protams, cilvēki, kuriem ir Photosynth, var sākt uzņemt daudz vairāk attēlu no noteiktas vietas, lai vēlāk varētu izveidot bagātīgu sintezatoru.) Taču var būt arī tā, ka lietotāji izmantos tiešsaistes fotoattēlu bibliotēkās. iespējams, būs jālejupielādē vietējā datorā, lai izveidotu savus ļoti fotografēto vietņu sintezatorus.

Tomēr Photosynth lielākoties ir daudzsološs ar maziem pierādījumiem. Ir daudz tehnisku jautājumu par to, cik viegli to būs lietot un kādas tieši būs tā iespējas. Turklāt, neskatoties uz Photo Tourism Linux pirmsākumiem, Photosynth pārskatāmā nākotnē paliks tikai Windows.

Un, neskatoties uz visu Photosynth tūlītējo pievilcību, arī tā lietojumi paliek neskaidri. Pasaulei nav vajadzīga cita attēlu pārlūkprogramma, pat revolucionāra. Šķiet vēl maz ticams, ka lietotāji maksātu par Photosynth tā pašreizējā formā. Tikmēr Photosynth veiksme būs atkarīga no tā, vai tā var izveidot plašu lietotāju kopienu. Vai tas iegūs jaunus lietojumus tiem, kas to pieņem, kā to ir darījis Google Earth? Vēl svarīgāk ir tas, vai Microsoft izlaidīs galaproduktu pietiekami atvērtu, lai šāda kopiena varētu meklēt lietojumus, kas atšķiras no sākotnēji paredzētajiem?

Flake ziņo, ka Photosynth komanda ir radījusi desmitiem potenciālu lietojumu, no kuriem divi izskatās īpaši iespējami.

Viens no tiem ir to pilnīgāk integrēt programmā Microsoft Virtual Earth, padarot to par rīku, kas lietotājus novirza uz nākamo dziļās tālummaiņas soli. Izmantojot virtuālo zemi, kas apstrādā topogrāfiju un aerofotogrāfiju, kamēr Photosynth koordinē daudzus sauszemes fotomateriālus, abas lietojumprogrammas varētu radīt sava veida vieglu metaversu, izmantojot terminu, ko Agüera y Arcas piesauca TED.

Atzīmējot Photosynth iekārtu ar ēkām un pilsētas laukumiem, Seits arī paredz lielu palielinājumu. Mēs vēlētos uzņemt veselas pilsētas, viņš saka. Patiešām, Agüera y Arcas un Microsoft Virtual Earth projekta ģenerāldirektors Stīvens Lolers 2007. gada augustā Lasvegasā, ikgadējā hakeru konferencē Defcon, paziņoja, ka plāno partnerību. Kad daži salīdzinoši nelieli tehniski šķēršļi ir novērsti, Seits saka, nekas neliedz mums modelēt pilsētas.

Tā kā cilvēki izveido un uzglabā arvien lielāku daudzumu digitālo datu nesēju, Photosynth var pat dot lietotājiem iespēju pārsūtīt savus ģimenes fotoalbumus. Iedomājieties, ja jūs varētu skatīties, kā jūsu bērni aug jūsu mājās, saka Fleika tikai no jūsu fotoattēlu kolekcijas.

Tā kā šādas idejas izplatās, Photosynth komanda gandrīz nesēž uz vietas. Pagājušajā vasarā pētnieki izlaida tiešsaistes demonstrācijas sadarbību ar NASA, un tagad viņi sadarbojas ar Jet Propulsion Lab, lai sintezētu nelielu daļu no Marsa virsmas.

Var brīnīties, cik tālu Microsoft ir gatavs bankrollēt šāda veida izklaidēs. Un atkal, kā retoriski jautā Agüera y Arcas un Flake, kā var novērtēt šāda veida tehniskos sasniegumus? Lai gan šķiet, ka Photosynth nedaudz trūkst skaidra ceļa uz tirgu, šķiet, ka tam pilnībā trūkst arī konkurences.

Džefrijs Makintairs ir ārštata žurnālists, kurš plaši raksta par kultūru, zinātni un tehnoloģijām.

paslēpties