211service.com
IBM izveido visu laiku lielāko datu disku
IBM Almadenas (Kalifornijas štatā) pētnieki būvē datu krātuvi, kas ir gandrīz 10 reizes lielāka par jebkuru iepriekš izveidoto. 120 petabaitu diskdzini, kas ir 120 miljoni gigabaitu, veido 200 000 tradicionālo cieto disku, kas darbojas kopā. Paredzams, ka milzīgajā datu konteinerā tiks uzglabāts aptuveni viens triljons failu, un tam vajadzētu nodrošināt vietu, kas nepieciešama, lai veiktu jaudīgākas sarežģītu sistēmu simulācijas, piemēram, tās, kuras izmanto laikapstākļu un klimata modelēšanai.
120 petabaitu diskā varētu būt 24 miljardi tipisku piecu megabaitu MP3 failu vai ērti norīt 60 lielākās tīmekļa dublējuma kopijas — 150 miljardus lapu, kas veido interneta arhīvu. WayBack mašīna .
Datu uzglabāšanas grupa plkst IBM Almaden izstrādā rekordlielu uzglabāšanas sistēmu nenosauktam klientam, kuram nepieciešams jauns superdators detalizētai reālās pasaules parādību simulācijai. Tomēr jaunās tehnoloģijas, kas izstrādātas, lai izveidotu tik lielu repozitoriju, varētu nodrošināt līdzīgas sistēmas tradicionālākai komerciālai skaitļošanai, saka Brūss Hilsbergs , IBM uzglabāšanas pētījumu direktors un projekta vadītājs.
Šī 120 petabaitu sistēma šobrīd atrodas uz vājprāta robežas, taču pēc dažiem gadiem var gadīties, ka visas mākoņdatošanas sistēmas būs līdzīgas, saka Hillsbergs. Tikai sekojot līdzi sistēmā saglabāto failu nosaukumiem, veidiem un citiem atribūtiem, tiks patērēti aptuveni divi petabaiti no tās ietilpības.
Stīvs Konvejs, analītiķu firmas IDC pētniecības viceprezidents, kurš specializējas augstas veiktspējas skaitļošanā (HPC), saka, ka IBM repozitorijs ir ievērojami lielāks nekā iepriekšējās uzglabāšanas sistēmas. Viņš saka, ka 120 petabiju uzglabāšanas masīvs būtu vislielākais, ar kādu esmu sastapies. Lielākie šodien pieejamie masīvi ir aptuveni 15 petabaiti. Konvejs saka, ka superskaitļošanas problēmas, kas varētu gūt labumu no lielākas datu uzglabāšanas, ietver laika prognozes, seismisko apstrādi naftas rūpniecībā un genomu vai proteīnu molekulāros pētījumus.
IBM inženieri izstrādāja virkni jaunu aparatūras un programmatūras paņēmienu, lai nodrošinātu tik lielu datu uzglabāšanas jaudas pieaugumu. Viens izaicinājums bija atrast veidu, kā efektīvi apvienot tūkstošiem cieto disku, no kuriem sistēma ir veidota. Tāpat kā lielākajā daļā datu centru, diskdziņi atrodas horizontālās atvilktnēs, kas sakrautas augstos plauktos. Tomēr IBM pētniekiem tie bija jāpadara ievērojami platāki nekā parasti, lai mazākā laukumā ievietotu vairāk disku. Diski ir jādzesē ar cirkulējošu ūdeni, nevis ar standarta ventilatoriem.
Neizbēgamās kļūmes, kas regulāri notiek tik lielā disku kolekcijā, ir vēl viens liels izaicinājums, saka Hillsbergs. IBM izmanto standarta taktiku, glabājot vairākas datu kopijas dažādos diskos, taču tajā tiek izmantoti jauni uzlabojumi, kas ļauj superdatoram turpināt strādāt gandrīz pilnā ātrumā pat tad, ja disks sabojājas.
Kad vientuļš disks nomirst, sistēma izvelk datus no citiem diskdziņiem un lēnām ieraksta tos diska nomaiņai, lai superdators varētu turpināt darbu. Ja tuvējos diskos rodas vairāk kļūmju, atjaunošanas process paātrina, lai novērstu iespēju, ka rodas vēl viena kļūme un neatgriezeniski tiek izdzēsti daži dati. Hillsberg saka, ka rezultāts ir sistēma, kurai nevajadzētu zaudēt nekādus datus miljons gadu, nezaudējot veiktspējas kompromisus.
Jaunā sistēma gūst labumu arī no failu sistēmas, kas pazīstama kā GPFS, kas tika izstrādāta uzņēmumā IBM Almaden, lai nodrošinātu superdatoriem ātrāku piekļuvi datiem. Tas izplata atsevišķus failus vairākos diskos, lai daudzas faila daļas varētu lasīt vai rakstīt vienlaikus. GPFS arī ļauj lielai sistēmai sekot līdzi daudzajiem failiem, nepārbaudot visus. Pagājušajā mēnesī IBM komanda izmantoja GPFS, lai indeksētu 10 miljardus failu 43 minūtēs, bez piepūles pārspējot iepriekšējo rekordu — viens miljards failu skenēts trīs stundās.
Programmatūras uzlabojumi, piemēram, tie, kas tiek izstrādāti GPFS un diska atkopšanai, ir ļoti svarīgi, lai iespējotu šādus milzīgus datu diskus, saka Hillsbergs, jo, lai tie būtu praktiski, tiem ir jākļūst ne tikai lielākiem, bet arī ātrākiem. Cietie diski nekļūst ātrāki vai uzticamāki proporcionāli prasībām pēc lielākas krātuves, tāpēc programmatūrai ir jākompensē atšķirība.
IDC Conway piekrīt, ka ātrāka piekļuve lielākām datu glabāšanas sistēmām kļūst ļoti svarīga superskaitļošanai, lai gan superdatorus visbiežāk publiski salīdzina ar to procesora ātrumu, kā tas ir globālajā TOP500 sarakstā, ko izmanto, lai noteiktu starptautiskās lielīšanās tiesības. Lielie diski kļūst svarīgi, jo simulācijas kļūst arvien lielākas un daudzas problēmas tiek risinātas, izmantojot tā sauktās iteratīvās metodes, kur simulācija tiek veikta tūkstošiem reižu un rezultāti tiek salīdzināti, saka Konvejs. Izplatīta ir arī kontrolpunktu noteikšana — paņēmiens, kurā superdators saglabā sava darba momentuzņēmumus gadījumā, ja darbs netiek veiksmīgi pabeigts. Šīs tendences ir izraisījušas datu eksploziju HPC kopienā, saka Konvejs.