Superdators reāllaikā apkopo Twitter

Twitter ietekmīgāko lietotāju noteikšana, iespējams, nav tā, ko veic vietnes veidotāji Cray XMT superdators bija prātā, izstrādājot savu mašīnu. Bet, kad jūs iepakojat tik daudz skaitļošanas siltuma, jūs nonākat tur, kur ir sarežģītās problēmas. Twitter, Facebook un pārējais sociālais tīmeklis ir kļuvuši par ūdens dzesētāja mūsdienu ekvivalentu, lai gan ar automātisku transkripcijas funkciju. Un visu sarunu ģenerēto datu apstrāde izrādās ļoti smaga problēma.

Cray XMT superdators pieklājīgi Cray

Piemēram, 2010. gada februāri Facebook iekļāva 400 miljonus aktīvo lietotāju ar vidēji 120 draugu savienojumiem, kuri visi kopā vienā mēnesī kopīgoja 5 miljardus informācijas.

Lai noskaidrotu, kas ir ietekmētāji tik masveida sociālajos tīklos, ir jāizveido gigantisks sociālais grafiks, kur katrs lietotājs ir virsotne un savienojumi starp tiem ir līnijas. Lai sarindotu lietotājus šādā diagrammā, ir jānosaka viņu galvenā nozīme. Tas ir, cik daudz citu cilvēku ir ar tiem saistīti, cik cilvēku ir ar tiem saistīti, un tā tālāk, līdz nokļūstat savienojuma pamatā esošās koka struktūras stumbrā pakalpojumā, piemēram, Twitter.

Izrādās, ka šī nav tāda problēma, ar kuru viegli tiek galā pat zinātniskās superskaitļošanas pasaules parastās darbstacijas – ar GPGPU darbināmi superdatori, kas izmanto grafikas mikroshēmas, ko parasti izmanto, lai videospēlēs atveidotu sulīgu 3D vidi. Šīs GPGPU darbstacijas vienkārši neļauj pietiekami kontrolēt, cik daudz procesu darbojas paralēli, lai efektīvi pārvietotos caur sociālajiem grafikiem, kas ir tik lieli kā Twitter vai Facebook.

Tāpēc Deivids Edigers no Georgia Tech, ar gara līdzstrādnieku saraksta palīdzību , pievērsās 128 CPU Cray XMT, kas atrodas Klusā okeāna ziemeļrietumu nacionālajā laboratorijā. XMT ir iecienīts superskaitļošanas cienītājiem un ārzemniekiem, kuri novērtē tā smalkgraudaino masveida daudzpavedienu regulējamību. Šī iekārta parasti tiek nodota ekspluatācijā, lai atrisinātu tādas problēmas kā hierarhiskā Bajesa modelēšana teksta analīzei vai analizējot Amerikas elektrotīkla stabilitāti , bet Edigeram tas bija domāts par katru nomaldījušos domu no vienas dienas vērtības Twitter ugunsdzēsības šļūtene .

Cray izveidoja īsu Twitter darbu, nepilnas stundas laikā atbrīvojot no savienojumiem visas dienas garumā. Rezultāti nevienu nepārsteigs — vietnē Twitter niecīga daļa avotu tiek plaši retvītota, galvenokārt valdība un plašsaziņas līdzekļi, savukārt pārējais pakalpojums ir vai nu cilvēki, kas runā nelielās grupās vai burtiski runā paši ar sevi.

Tomēr jēga ir tāda, ka precīzi noregulēta Cray, kurā darbojas Ediger pielāgotā programmatūra — GraphCT, pakalpojumā Twitter ļāva pētniekiem sagremot pakalpojumu reāllaikā. Tieši tādas iespējas varētu vēlēties iegūt izlūkošanas aģentūras, tirgotāji un, iespējams, pat pats Twitter.

Sekojiet Mimsam Twitter vai sazinieties ar viņu pa e-pastu .

paslēpties