211service.com
Gatavojoties datu plūdiem
No Facebook līdz Motorizēto transportlīdzekļu departamentam pasaule ir kataloģizēta datubāzēs. Neviens to nezina labāk kā MIT adjunkts un uzņēmējs Maikls Stounbrekers , kurš pēdējos 25 gadus ir pavadījis, izstrādājot tehnoloģiju, kas to padarīja par tādu. Viņš guva savu lielo pārrāvumu, izgudrojot un komercializējot tehnoloģiju, kas ir pamatā lielākajai daļai datu bāzu, kas pazīstamas kā relāciju datu bāzes un kuras valda mūsdienās. Taču Stounbrekers savus agrākos izgudrojumus tagad ar prieku sauc par lielākoties novecojušiem. Viņš strādā pie jaunas paaudzes datu bāzu tehnoloģijas, kas spēj apstrādāt digitālo datu plūdus, kas sāk pārņemt iedibinātās metodes.
Relāciju datu bāzes ir visuresošas kā uzņēmuma datu risinājums. Viņiem ir bijuši pasakaini panākumi, stāsta Stonebraker. Taču viņš saka, ka lielākie datubāzu pārdevēji, tostarp Oracle, IBM un Microsoft, joprojām pārdod šādus produktus kā piemērotus jebkuram biznesam. Stonebraker viedoklis ir atšķirīgs: ir nepieciešamas jaunas datu bāzu tehnoloģijas, lai apstrādātu eksponenciālo informācijas pieaugumu, kas uzņēmumiem jāapstrādā. 67 gadus vecais Stounbrekers jau gūst panākumus ar vairākām viņa paša jaunām pieejām.
Viena no tām ir datu bāzes sistēma, ko sauc C-veikals . Atšķirībā no vairuma mūsdienās izmantoto sistēmu, tā saglabā datus diskā pēc kolonnas, nevis pēc rindas. Šim vienkāršajam uzlabojumam bija pilnībā jāpārraksta datu bāzu darbības, taču tas precīzi saskan gan ar datora atmiņas darbību, gan ar to, kā tiek piekļūts datu bāzēm. Tas nodrošina daudz ātrāku veiktspēju un vairāk saspiestu datu.
Šis uzlabojums un citi, ko veica Stonebraker un kolēģi MIT, Brown, Brandeis, Yale un Masačūsetsas universitātē, ļāva palaist Vertica , uzņēmums, kas komercializēja C-Store un palīdzēja klientiem gandrīz reāllaikā veikt vaicājumus lielās datubāzēs. Hewlett-Packard februārī iegādājās Vertica, un tai ir klienti, tostarp Comcast, kas to izmanto, lai uzraudzītu miljoniem ierīču, kas veido tās TV un interneta tīklus, un Groupon, kas to izmanto, lai analizētu savu miljonu abonentu darbības.
Saistītā sistēma no Stonebraker un dažiem tiem pašiem akadēmiskiem kolēģiem, H-veikals , balstās uz tām pašām idejām ar papildu uzlabojumiem, piemēram, pilnībā darbojas datora atmiņā, nevis diskā; šī metode ir īpaši noderīga tiešsaistes darījumu apstrādē. H-Store kods ir atvērtā koda kods, taču tehnoloģija tiek komercializēta ar riska līdzekļiem VoltDB , ar Stonebraker kā CTO. Viņš apgalvo, ka šāda veida lietojumam specifiska, ātrai datu bāzes sistēma ir tas, kas lielākajai daļai uzņēmumu būs jāpieņem ātrāk nekā vēlāk, lai tiktu galā ar digitālo datu plūdiem.
Dažas organizācijas jau ir nonākušas šajos plūdos. Apsveriet Facebook. Facebook jau tagad mitina vairāk digitālo fotoattēlu nekā jebkurš cits uzņēmums, un tas pēc iespējas ātrāk veido jaunu uzglabāšanas un apstrādes infrastruktūru. Tomēr tā izmanto datubāzes tehnoloģiju līdz galam, sadalot savu slaveno sociālo grafiku 4000 datu bāzēs, kurām visām jādarbojas kā vienai, saka Stonebraker. Viņi vienkārši mirst zem vadības slāņa slodzes, kas nepieciešama šīs sistēmas uzturēšanai, viņš saka. Viņiem ir visgrūtākā datubāzes problēma uz planētas, un nav pašreizējās sistēmas, kas apmierinātu viņu vajadzības.
Risinājumi, ko Stonebraker izstrādā ļoti atšķirīgai nozarei, kas jau slīkst datos, galu galā var palīdzēt. Pirms dažiem gadiem viņš dzirdēja par problēmām, ar kurām saskaras Liels sinoptiskās izpētes teleskops tiek būvēts Čīlē. Stounbrakers saka, ka tajā tiks apkopoti 100 petabaiti neapstrādātu datu un atvasinātu datu, un viņiem nebija ne jausmas, ko ar tik daudz darīt.
Stonebraker un līdzstrādnieks Deivids Devits, kas ir saistīts ar Viskonsinas-Medisonas Universitāti, izveidoja unikālu datu bāzes sistēmu ar nosaukumu SciDB . Atvērtā pirmkoda projektam tagad ir riska atbalsts un liela zinātnes brīvprātīgo kopiena. Bet Stonebraker domā, ka SciDB iezīmes galu galā iegūs labvēlību ārpus akadēmiskās vides.
Visi zinātnes dati ir neskaidri un tiem ir kļūdu joslas, atšķirībā no datiem algu datubāzē, tāpēc SciDB var pievērst uzmanību nenoteiktībai. To arī nevar pārrakstīt, jo zinātnes puiši nekad nevēlas neko izmest, viņš saka. Šīs funkcijas nemaz tik ļoti neatšķiras no nepieciešamības pēc jaudīgas, statistikas ziņā lielas analītikas vai datu zinātnes, kas arvien vairāk ir veiksmīgu, tehnoloģiju vadītu uzņēmumu pamatā. Viens piemērs ir tiešsaistes reklāmu izvietošana: lai atlasītu katru personu atsevišķi, ir nepieciešama intensīva skaitļošanas analīze, lai apvienotu līdzīgus cilvēkus.
Tomēr Stonebraker neapgalvo, ka jaunas datu bāzu sistēmas, piemēram, tās, pie kurām viņš strādā, var būt panaceja uzņēmumiem, kas pēkšņi apgūst vairāk izveidoto tehnoloģiju robežas. Datu uzglabāšanas un apstrādes pieaugošā nozīme visu veidu uzņēmējdarbībā prasīs viņiem abus padarīt par uzņēmējdarbības prioritāti. Viņš saka, ka, ja jūs vadāt uzņēmumu, jums jau no paša sākuma ir jāprojektē mērogs, jo nav šaubu, ka tas jums būs vajadzīgs vēlāk.