Lielo datu mīkla: kā to definēt?

Viena no lielākajām jaunajām idejām skaitļošanas jomā ir lielie dati. Pastāv vienprātīga vienošanās, ka lielie dati 21. gadsimtā maina tirdzniecību. Runājot par uzņēmējdarbību, lielie dati piedāvā vēl nebijušu ieskatu, uzlabotu lēmumu pieņemšanu un neizmantotus peļņas avotus.

Un tomēr palūdziet galvenajam tehnoloģiju speciālistam definēt lielos datus, un viņš vai viņa skatīsies uz grīdu. Pastāv iespēja, ka jūs saņemsit tik daudz definīciju, cik cilvēku jautāsit. Un tā ir problēma ikvienam, kas mēģina pirkt, pārdot vai izmantot lielo datu pakalpojumus — kas tieši tiek piedāvāts?

Šodien Džonatans Stjuarts Vords un Ādams Bārkers St Andrews Universitātē Skotijā šo jautājumu risina. Šie puiši apseko dažādas definīcijas, ko piedāvā pasaulē lielākās un ietekmīgākās augsto tehnoloģiju organizācijas. Pēc tam viņi mēģina no visa šī trokšņa izdalīt definīciju, kurai visi var vienoties.

Vords un Bārkers met savu tīklu tālu un plaši, taču rezultāti ir dažādi. Formālas definīcijas ir grūti atrast, jo daudzas organizācijas dod priekšroku sniegt anekdotiskus piemērus.

Konkrēti, jēdzienu liels ir sarežģīti noteikt, jo īpaši tāpēc, ka datu kopa, kas šodien šķiet liela, gandrīz noteikti šķitīs maza ne pārāk tālā nākotnē. Ja viena organizācija sniedz precīzus skaitļus par to, kas ir liels, cita sniedz relatīvu definīciju, kas nozīmē, ka lielie dati vienmēr būs vairāk nekā parastie paņēmieni.

Dažas organizācijas norāda, ka lielas datu kopas ne vienmēr ir sarežģītas un mazas datu kopas vienmēr ir vienkāršas. Viņu mērķis ir tāds, ka datu kopas sarežģītība ir svarīgs faktors, lai izlemtu, vai tā ir liela.

Šeit ir kopsavilkums par aprakstiem, ko Vords un Bārkers atklāja no dažādām ietekmīgām organizācijām:

viens. Gartner . 2001. gadā Meta (tagad Gartner) ziņojumā tika atzīmēts pieaugošais datu apjoms, pieaugošais ātrums, kādā tie tiek ražoti, un arvien lielāks izmantoto formātu un attēlojumu klāsts. Šis ziņojums tika izstrādāts pirms termina izrakt datus, bet piedāvāja trīskāršu definīciju, kas ietver trīs V: tilpums, ātrums un dažādība. Kopš tā laika šī ideja ir kļuvusi populāra un dažreiz ietver ceturto V: patiesumu, lai aptvertu uzticības un nenoteiktības jautājumus.

divi. Orākuls . Lielie dati ir vērtības atvasināšana no tradicionālās, uz relāciju datu bāzēm balstītas biznesa lēmumu pieņemšanas, kas papildināta ar jauniem nestrukturētu datu avotiem.

3. Intel . Lielo datu iespējas parādās organizācijās, kas ģenerē vidēji 300 terabaitus datu nedēļā. Visbiežāk šādi analizētie datu veidi ir biznesa darījumi, kas tiek glabāti relāciju datu bāzēs, kam seko dokumenti, e-pasts, sensoru dati, emuāri un sociālie mediji.

Četri. Microsoft . Lielie dati tiek arvien biežāk lietots, lai aprakstītu nopietnas skaitļošanas jaudas — jaunākās mašīnmācības un mākslīgā intelekta — pielietošanas procesu nopietni masīvām un bieži vien ļoti sarežģītām informācijas kopām.

5 Integrētās zināšanu vides metode atvērtā koda projekts. MIKE projekts apgalvo, ka lielie dati nav atkarīga no datu kopas lieluma, bet gan no tā sarežģītības. Līdz ar to lielos datus nosaka augstā permutāciju un mijiedarbības pakāpe datu kopā.

6 Nacionālais standartu un tehnoloģiju institūts . NIST apgalvo, ka lielie dati ir dati, kas pārsniedz pašreizējo vai parasto metožu un sistēmu jaudu vai iespējas. Citiem vārdiem sakot, lielais jēdziens ir saistīts ar pašreizējo aprēķinu standartu.

Jaukts maiss, ja tāds kādreiz ir bijis.

Papildus definīciju meklēšanai Vords un Bārkers mēģināja labāk izprast, kā cilvēki izmanto frāzi lielie dati, meklējot Google Trends, lai noskaidrotu, kādi vārdi ar to visbiežāk tiek saistīti. Viņi saka, ka tie ir: datu analīze, Hadoop, NoSQL, Google, IBM un Oracle.

Šie puiši drosmīgi pabeidz savu aptauju ar savu definīciju, kurā viņi mēģina apvienot šīs atšķirīgās idejas. Šeit ir viņu definīcija:

Lielie dati ir termins, kas apraksta lielu un vai sarežģītu datu kopu uzglabāšanu un analīzi, izmantojot vairākas metodes, tostarp, bet ne tikai: NoSQL, MapReduce un mašīnmācīšanos.

Spēles mēģinājums gūt cienīgus vārtus — definīcija, kurai visi var piekrist, noteikti ir nokavēts.

Bet vai tas palīdzēs? Atbildes, lūdzu, zemāk esošajā komentāru sadaļā.

Atsauce: arxiv.org/abs/1309.5821 : Undefined by Data: A Survey of Big Data Definitions

paslēpties