Grafikas mikroshēmas palīdz apstrādāt lielas datu kopas milisekundēs

Jaunā programmatūra var izmantot ikdienas datoros atrodamos grafiskos procesorus, lai apstrādātu datu straumes ātrāk, nekā tas parasti ir iespējams, paverot jaunus veidus, kā vizuāli izpētīt visu, sākot no Twitter ziņām un beidzot ar politiskiem ziedojumiem.

Rainmaker : Jaunas vizualizācijas tehnoloģijas pasakas tikai milisekundēs, lai desmitiem vai simtiem miljonu datu punktu pārvērstu kartēs un animācijās, piemēram, šajā piemērā, kas parāda vārda lietus biežumu tvītā visā valstī.

Zināms kā MapD , vai masveidā paralēlā datubāzē, jaunā tehnoloģija panāk lielu ātruma pieaugumu, saglabājot datus grafisko procesoru bloku (GPU) iebūvētajā atmiņā, nevis centrālajos procesoros (CPU), kā tas ir ierasts. Izmantojot vienu augstas veiktspējas GPU karti, datu apstrādi var paātrināt līdz pat 70 reizēm.

Šobrīd prototipa tehnoloģija tiek demonstrēta tvītos; tas var parādīt, kā mēms izplatās reāllaikā reģionālajās vai pasaules kartēs (skatieties Lielo datu vizualizēšana milisekundēs lētos datoros). Daudzas liela mēroga Twitter vizualizācijas, tostarp animētas kartes un diagrammas, aizņem vairākas sekundes vai ilgāk, lai apstrādātu datus, pirms tos var parādīt. Izmantojot MapD, lietotājs var pielāgot meklēšanas vienumus un citus parametrus, piemēram, laika posmu vai ģeogrāfisko reģionu, un uzreiz redzēt jaunu vizualizāciju, negaidot, līdz tiks aprēķināta un ielādēta katra jauna karte un animācija.

Šis publiskais interfeiss var izmantot, lai vizualizētu 50 miljonus ģeokodētu tvītu, kas publicēti no 28. septembra līdz 6. oktobrim. Šis rīks ļauj lietotājiem izpētīt dažādus meklēšanas vienumus, izpētīt plašas ģeogrāfiskās tendences un tuvināt katru tvītu. Katram no 30 kadriem sekundē, ko tas ģenerē, animējot Twitter, Map-D skenē visus tvītus, kas ir ielādēti GPU, veidojot vizualizācijas, piemēram, vārdu lietojuma kartes, kas var ietvert produkta nosaukuma vai ziņu pieminēšanu. — tiek izplatīts reģionā vai visā pasaulē reāllaikā.

Mums zināmās [esošās Twitter vizualizācijas] ir “konservētas” — pamatojoties uz kādu iepriekšēju kartes vai attēla aprēķinu, nevis patiesi interaktīvas. Semjuels Madens , datorzinātņu profesors MIT. Mēs esam izveidojuši jauna veida datu bāzu sistēmu. Tas atbildēs un arī kartēs katru pieprasījumu, skenējot katru tvītu datubāzē, ko var izdarīt tikai dažu milisekundēs. Sistēma var sekot līdzi pat tad, ja datu bāzē ir simtiem miljonu tvītu.

Tehnoloģiju pagājušajā gadā izsapņoja Tods Mostaks, toreizējais Hārvardas Tuvo Austrumu studiju absolvents, kurš bija neapmierināts ar gauso apstrādi, ar kuru viņš saskārās, mēģinot izskaust sociālo mediju datu kopas no Ēģiptes un citur Tuvajos Austrumos. Izveidojot rīku, lai patiesi interaktīvā veidā izpētītu šādas datu kopas, ar latentumu mērot milisekundēs, nevis sekundēs vai minūtēs, mēs ceram novērst skaitļošanas sašaurinājumu hipotēžu formulēšanas, testēšanas un precizēšanas procesā, saka Mostaks.

Šī tehnoloģija varētu atvieglot ieskatu gūšanu no Twitter milzīgā informācijas korpusa. Piemēram, skaitīšanas datu apvienošana ar tvītiem varētu parādīt, kā vārda McDonald’s pieminēšana tvītos ar ģeogrāfisko atzīmi ir saistīta ar tādiem mainīgajiem lielumiem kā ienākumi vai bezdarba līmenis.

Agrīnais lietotājs būs Saules gaismas fonds , kas veicina atvērtību kampaņu finansēšanā. Šī organizācija nodrošina 22 gadu datus par ASV štatu un federālo kampaņu ziedojumiem MapD, kas nodrošinās veidus, kā ātri mainīt vizualizācijas, kas sadala vairāk nekā 20 miljonus ziedojumu atkarībā no ziedotāja, reģiona, vēlētās amatpersonas un citiem parametriem. Katrs jauns vaicājuma veids ģenerēs jaunu vizualizāciju tikai milisekundēs.

Izmantojot esošās metodes, vizualizācijas ielāde var aizņemt sekundes, jo datu bāzē esošās informācijas pieprasīšana prasa tik ilgu laiku. Ātrāka piekļuve ļauj pētniekiem ātrāk pārbaudīt hipotēzes un precizēt vizualizācijas. Tas varētu padarīt lielas datu kopas noderīgākas. Daudzi klēpjdatori pat satur diezgan jaudīgus GPU — pietiekami ātri, lai ievērojami paātrinātu vidēja izmēra datu kopu, piemēram, 20 miljonu tvītu, interaktīvu izpēti, saka Mostaks.

MapD tehnoloģija sola padarīt iespējamus jaunus reāllaika vaicājumu veidus, saka Bobs Lanons, uzņēmuma izstrādātājs. Saules gaismas laboratorijas , kas izstrādā datu analīzes rīkus Sunlight Foundation. Drīzumā varēsiet ātri izpētīt lielu datu apjomu un pagriezt, filtrēt un apkopot tos iepriekš nepieejamos veidos. Mēs esam priecīgi redzēt, ko tas varētu nozīmēt mūsu lietotājiem.

Nvidia, viens no vadošajiem GPU ražotājiem, gaidāmajā konferencē plāno demonstrēt MapD vairāk nekā miljardā tvītu, izmantojot astoņus GPU. Pētnieki arī plāno veikt kopīgu demonstrāciju ar Gnip, vadošo sociālo mediju datu tālākpārdevēju no tādiem avotiem kā Twitter, Foursquare un Facebook. Gnip pārstāve Elaine Elisa sacīja, ka uzņēmums nav gatavs runāt par sadarbību.

Twitter nesen ziņoja, ka tajā mēnesī ir 215 miljoni aktīvo lietotāju, kas katru dienu pārraida vairāk nekā 400 miljonus tvītu. No tiem aptuveni septiņos miljonos tvītu ir GPS ģeogrāfiskās atrašanās vietas atzīmes, parasti no mobilajām ierīcēm. Spēja vizualizēt milzīgas ģeogrāfiski identificējamu sociālo mediju un mobilo tālruņu datu straumes reāllaikā var būtiski ietekmēt epidemioloģiju un reaģēšanu uz katastrofām (skatiet sadaļu Lielie dati no lētiem tālruņiem ).

Papildus grafisko mikroshēmu izmantošanai Madden un Mostak sadarbojas ar Intel pētniekiem, lai ļautu MapD izmantot uzņēmuma jaunās priekšrocības. masveidā paralēli procesori kā arī parastie X86 procesori, kas darbina lielāko daļu datoru.

paslēpties