Google un Akamai: slepenības kults pret atklātības karalisti

Nekad nevajadzētu uzticēties šim skaitlim, sacīja Ratgersa universitātes datorzinātņu profesors Martins Faračs-Koltons, runājot nedaudz vairāk nekā pirms gada. Cilvēki par to dara lielu darījumu, un tā nav taisnība.

Farahs-Koltons lasīja publisku lekciju par savu divu gadu sabata darbu uzņēmumā Google. Skaitlis, ko viņš noniecināja, atradās viņa PowerPoint slaida vidū:

• 150 miljoni vaicājumu dienā

Nākamajā slaidā bija vēl daži skaitļi:

• 1000 vaicājumi/s (maksimums)
• Vairāk nekā 10 000 serveru
• Vairāk nekā 4 tera-ops/s dienas maksimumā
• Indekss: 3 miljardi tīmekļa lapu
• Kopā 4 miljardi dokumentu
• 4+ petabaiti diska krātuve

Daži cilvēki no auditorijas sāka ķiķināt: Google skaitļi nesakrita.

Pats sāku palaist skaitļus. Apskatīsim: 4 tera-ops/s nozīmē 4000 miljardus operāciju sekundē; augstākā līmeņa serveris var veikt, iespējams, divus miljardus darbību sekundē, tātad, iespējams, 2000 serveru, nevis 10 000. Četri petabaiti ir 4x1015 baiti krātuves; izplatījās, ka vairāk nekā 10 000 serveru un jums būtu 400 gigabaiti uz serveri, kas atkal šķiet nepareizi, jo Farach-Colton iepriekš teica, ka Google katrā serverī ievieto divus 80 gigabaitu cietos diskus.

Un tad ir jautājums par 150 miljoniem vaicājumu dienā. Ja sistēma apstrādā maksimālo slodzi 1000 vaicājumu sekundē, tas nozīmē maksimālo ātrumu 86,4 miljoni vaicājumu dienā vai, iespējams, 40 miljoni vaicājumu dienā, ja pieņemat, ka sistēma tikai pusi sava laika pavada ar maksimālo jaudu. Neatkarīgi no tā, kā jūs veicat matemātiku, Google statistika nav konsekventa.

Šie skaitļi visi ir traki zemi, Farach-Colton turpināja. Google vienmēr ziņo daudz, daudz mazākus skaitļus, nekā tie ir patiesi.

Viņš paskaidroja, ka ikreiz, kad kāds no Google sastāda jaunu prezentāciju, sabiedrisko attiecību nodaļa pārbauda runas un nosaka skaitļus. Sākotnēji viņš teica, ka slaidā ar skaitļiem bija teikts, ka 1000 vaicājumi sekundē ir minimālais rādītājs, nevis maksimums. Mums ir vairāk nekā 10 000 serveru. Tas ir daudz pluss.

Tāpat kā Google meklētājprogramma nekavējoties un šķietami bez piepūles atgriežas, atbildot uz jebkuru jūsu uzdoto vaicājumu, slēpjot no lietotājiem uzdevuma patiesās grūtības, uzņēmums arī vēlas, lai konkurenti netiktu informēti par problēmas sarežģītību. Galu galā, ja Google paziņotu, cik lapu tas ir indeksējis un cik datoru ir tā datu centros visā pasaulē, tādi meklēšanas konkurenti kā Yahoo!, Teoma un Mooter zinātu, cik daudz kapitāla viņiem ir jāiegūst, lai iegūtu cerība izspiest karali kalna galā.

Google dažkārt ir bijis grūti noturēt savu stāstu taisni. Kad inženierzinātņu viceprezidents Urs Hoelzle 2002. gada novembrī Vašingtonas Universitātē uzstājās ar runu par Google Linux klasteriem, viņš atkārtoja šo skaitli — 1000 vaicājumu sekundē, taču viņš teica, ka pasākums tika veikts 25. decembrī pulksten 2:00. , 2001. Viņa doma, kas ir acīmredzama visiem telpā esošajiem, ir tāda, ka pat 2002. gada novembrī Google veica daudz vairāk nekā 1000 vaicājumu sekundē, taču, cik daudz vairāk, kāds varēja minēt.

Fakti var izplūst. Pagājušajā Pateicības dienā laikraksts New York Times ziņoja, ka Google ir pārsniedzis 100 000 serveru robežu. Ja tā ir taisnība, tas nozīmē, ka Google pārvalda, iespējams, lielāko datoru tīklu uz planētas. Vienkāršais fakts, ka viņi var uzbūvēt un darbināt šāda izmēra datu centrus, ir pārsteidzošs, saka Pīters Kristijs, tirgus izpētes un stratēģijas uzņēmuma NetsEdge Research Group līdzdibinātājs Silīcija ielejā. Kristijs, kurš šajā nozarē strādā vairāk nekā 30 gadus, ir pārsteigts par Google sistēmu mērogu un uzņēmuma kompetenci to ekspluatācijā. Es nedomāju, ka tur ir kāds tuvs.

Tieši šī spēja veidot un darbināt neticami blīvas kopas ir tikpat liela kā jebkura cita Google panākumu noslēpums. Un iemesls, skaidro Marissa Mayer, uzņēmuma patērētāju tīmekļa produktu direktore, ir saistīts ar veidu, kā Google sāka darbu Stenfordā.

Tā vietā, lai iegūtu dažus ātrus datorus un tos maksimāli darbinātu, Meijers MIT darbinieku atlases pasākumā paskaidroja, dibinātājiem Sergejam Brinam un Lerijam Peidžam bija jāiztiek ar Stenfordas datorzinātņu nodaļas profesionāļiem. Viņi devās uz iekraušanas doku, lai redzētu, kurš saņem jaunus datorus, un pēc tam jautāja, vai viņiem varētu būt vecās, novecojušās mašīnas, kuras nomaina jaunie. Tādējādi jau no paša sākuma Brins un Peidžs bija spiesti izstrādāt sadalītus algoritmus, kas darbojās ne pārāk uzticamu mašīnu tīklā.

Mūsdienās šī filozofija ir iebūvēta uzņēmuma DNS. Google pērk lētākos datorus, kādus var atrast, un ievieto tos statīvās un statīvos savos sešos (vai vairākos) datu centros. Personālie datori ir pietiekami uzticami, taču, ja jums ir tūkstotis tādu, katru dienu viens izgāzīsies, sacīja Hoelzle. Tātad, ja jūs varat iegādāties tikai 10 procentus, tas joprojām ir lētāk nekā uzticamākas iekārtas iegāde.

Darbs Google, kā man nesen teica inženieris, ir vistuvāk, lai jūsu rīcībā būtu neierobežots skaitļošanas jaudas daudzums.

Atvērtības valstība

Ir vēl viens uzņēmums, kas ir pilnveidojis mākslu vadīt milzīgu skaitu datoru ar salīdzinoši nelielu darbinieku skaitu. Šis uzņēmums ir Akamai.

Akamai tagad nav populārs vārds, taču tas nokļuva pirmajās lapās, kad uzņēmums 1999. gada novembrī tika atklāts ar tolaik ceturto veiksmīgāko sākotnējo publisko piedāvājumu vēsturē. Akamai akcijas strauji pieauga, un tās dibinātāji kļuva par miljardieriem. Tomēr turpmākajos gados Akamai ir piemeklējuši grūti laiki. Tā nebija tikai dot-com avārija, kas izraisīja ievērojamas atlaišanas un pamešanu no uzņēmuma Kalifornijas birojiem: Akamai līdzdibinātājs un galvenais tehnoloģiju virsnieks Denijs Levins atradās American Airlines 11. reisā 11. septembrī un gāja bojā, kad lidmašīna tika ielidota lidmašīnā. Pasaules tirdzniecības centrs. Uzņēmuma morāle bija sagrauta.

Akamai tīkls darbojas tādā pašā sarežģītības mērogā kā Google. Lai gan Akamai ir tikai 14 000 iekārtu, šie serveri atrodas 2500 dažādās vietās, kas izkaisītas visā pasaulē. Serverus tīmekļa lapu piegādei izmanto tādi uzņēmumi kā CNN un Microsoft. Tāpat kā Google serverus mūsdienās izmanto praktiski visi interneta lietotāji, tā izmanto arī Akamai serverus.

To mēroga dēļ gan Akamai, gan Google bija jāizstrādā rīki un metodes šo iekārtu pārvaldībai, veiktspējas problēmu atkļūdošanai un kļūdu apstrādei. Šī nav programmatūra, ko uzņēmums var iegādāties no plaukta — tai ir nepieciešama rūpīga iekšēja izstrāde. Faktiski tā ir programmatūra, kas ir viena no Akamai galvenajām konkurences priekšrocībām.

Jā, arī dažas citas organizācijas pārvalda lielas datoru kopas. Gan NASA Eimsas pētniecības centram, gan Virdžīnijas Tech ir lielas kopas, kas veltītas zinātniskajai skaitļošanai. Taču pastāv galvenās atšķirības starp šīm sistēmām un kopām, ko ir izveidojuši gan Google, gan Akamai. Zinātniskās sistēmas atrodas vienuviet, nevis izplatās pa visu pasauli. Viņi parasti nav tieši pakļauti internetam. Un, iespējams, vissvarīgākais ir tas, ka zinātniskās sistēmas nenodrošina preču pakalpojumus simtiem miljonu interneta lietotāju katru dienu: Google un Akamai ir jānodrošina 100 procentu darbības laiks. Ir viegli iziet un iegādāties 10 000 datoru — viss, kas jums nepieciešams, ir skaidra nauda. Ir daudz grūtāk panākt, lai šie datori darbotos kopā kā viens pakalpojums, kas atbalsta miljoniem vienlaicīgu lietotāju.

Taisnības labad jāsaka, ka pastāv būtiskas atšķirības starp Google un Akamai — atšķirības, kas nodrošina, ka Google tuvākajā laikā neielauzīsies Akamai biznesā, kā arī Akamai nepārcelsies uz Google. Abi uzņēmumi ir izstrādājuši infrastruktūru masveida paralēlu sistēmu darbināšanai, taču lietojumprogrammas, kuras tie darbojas virs šīm sistēmām, ir atšķirīgas. Google galvenā lietojumprogramma ir meklētājprogramma. Turpretim Akamai ir izstrādājis sistēmu Web lapu, straumēšanas multivides un dažādu citu standarta interneta protokolu piegādei.

Vēl viena svarīga atšķirība, saka Kristijs, ir tā, ka Akamai ir bijis ļoti grūti izveidot skaidru biznesa modeli, kas darbojas, turpretim Google ir bijis neticami veiksmīgs. Tādējādi Akamai ir sācis meklēt jaunus veidus, kā pārdot pakalpojumus, ko var nodrošināt tikai plašs izplatīts tīkls. Cīņājoties par rentabilitāti, uzņēmums ir agresīvi meklējis jaunas iespējas savai tehnoloģijai. Tas varētu būt iemesls, kāpēc Akamai, atšķirībā no Google, vēlējās intervēt par šo rakstu.

Mēs sākām ar pamata bitu piegādi — objektiem, fotoattēliem, baneriem, reklāmām, saka Toms Leitons, Akamai galvenais zinātnieks. Mēs to darām uz vietas. Padariet to ātri. Padariet to uzticamu. Uzlabojiet vietnes.

Tagad Akamai izstrādā metodes, lai ļautu klientiem palaist savas lietojumprogrammas tieši uzņēmuma izplatītajos serveros. Leitons saka, ka to ir izdarījuši 25 no Akamai lielākajiem klientiem. Sistēma spēj izturēt pēkšņus pārspriegumus, padarot to ideāli piemērotu gadījumiem, kad nav iespējams paredzēt pieprasījumu.

Piemēram, saka Leitons, Akamai tīkls tika izmantots, lai rīkotu tastatūras dāvanu konkursu, ko sponsorēja Logitech. Domājot, ka tā konkurss varētu būt populārs, Logitech izveidoja sarežģītu noteikumu sēriju, nodrošinot, ka katrā valstī un noteiktā laika periodā tiks piešķirts tikai tik daudz tastatūru. Taču Logitech ļoti zemu novērtēja, cik cilvēku noklikšķinās uz konkursu. Agrāk šādas nepietiekamas novērtēšanas ir izraisījušas tādu interneta notikumu kā Victoria’s Secret tīmekļa apraide, kas izraisīja avāriju, sagādājot vilšanos miljoniem tīmekļa sērfotāju un apkaunojot uzņēmumu. Taču ne šoreiz: Logitech konkurss norisinājās Akamai tīklā bez aizķeršanās.

Protams, Logitech varēja mēģināt izveidot sistēmu pats. Tas varēja izstrādāt un pārbaudīt serveri, kas spēj apkalpot 100 vienlaikus lietotājus. Šis serveris varētu maksāt 5000 USD. Tad Logitech varēja nopirkt 20 no šiem serveriem par 100 000 USD un ievietot tos datu centrā. Taču viens datu centrs var kļūt pārslogots, tāpēc varētu būt lietderīgāk ievietot 10 no tiem vienā datu centrā austrumu krastā un 10 citā datu centrā Rietumkrastā. Tomēr šī sistēma varētu apkalpot tikai 2000 vienlaicīgus lietotājus: varētu būt labāk iegādāties 100 serverus par kopējo cenu 500 000 USD un novietot tos 10 dažādos datu centros. Bet pat tad, ja viņi to būtu izdarījuši, Logitech inženieri nebūtu varējuši zināt, vai sistēma tiešām būtu darbojusies, kad tā tika pārbaudīta, un viņi būtu ieguldījuši milzīgu naudas summu inženierzinātnēs, kas to nedarītu. bija nepieciešami pēc pasākuma.

Un konkursi nav vienīgais, kas var darboties Akamai tīklā. Uzņēmuma infrastruktūrā var darboties praktiski jebkura programma, kas rakstīta Java programmēšanas valodā. Sistēma var apstrādāt hipotēkas pieteikumus, katalogus un elektroniskos iepirkumu grozus. Akamai pat pārvalda Apple iTunes 99 centu mūzikas pakalpojuma aizmugursistēmu.

Iespējams, tāpēc, ka Akamai tik ļoti lepojas ar izveidoto sistēmu, uzņēmums ir ļoti atklāts par tīkla tehniskajām detaļām. Tās tīkla operāciju centrā Kembridžā, MA, ir stikla siena, kas ļauj apmeklētājiem redzēt lielu ekrānu ar statistiku. Kad es apmeklēju uzņēmumu janvārī, ekrānā bija redzams, ka Akamai apkalpo 591 763 trāpījumus sekundē ar 14 372 CPU tiešsaistē, 14 563 gigahercu kopējo apstrādes jaudu un 650 terabaitu kopējo krātuvi. 14. aprīlī to skaits bija pieaudzis līdz 900 000 trāpījumu sekundē un 24 stundu laikā tika piegādāts 43,71 miljards pieprasījumu. (Akamai neatklās CPU skaitu tiešsaistē, jo šis skaitlis ir daļa no tā ceturkšņa peļņas ziņojuma, kas tiks publicēts 28. aprīlī. Taču tas nav daudz mainījies, man teica uzņēmuma pārstāvis.)

Pasts un mērogs

Raugoties nākotnē, dažas uzņēmējdarbības iespējas ir acīmredzami pievilcīgas gan Google, gan Akamai. Piemēram, abi uzņēmumi varētu izmantot savu pieredzi liela mēroga izplatītu klasteru veidošanā, lai izveidotu apjomīgu rezerves sistēmu maziem uzņēmumiem un mājas datoru lietotājiem. Vai arī viņi varētu pārņemt mājas datoru pārvaldību, pārvēršot tos par viedajiem termināļiem, kuros darbojas lietojumprogrammas attālos serveros. Tas ļautu datoru lietotājiem izvairīties no pūlēm, kas saistītas ar savu iekārtu administrēšanu, jaunu lietojumprogrammu instalēšanu un pretvīrusu programmu atjaunināšanu.

Un tad ir e-pasts. 1. aprīlī Google paziņoja, ka gatavojas ienākt patērētāju e-pasta biznesā ar neparastu paziņojumu presei: meklēšana ir otrais tiešsaistes aktivitātes — e-pasts ir numur viens: “Heck, Yeah,” saka Google dibinātāji.

Kopš tā laika Google ir saņēmis ievērojamu publicitāti par paziņoto Gmail (Google Mail) piedāvājuma dizainu. Bezmaksas pakalpojums sola patērētājiem vienu gigabaitu pasta krātuvi (vairāk nekā simts reizes vairāk nekā citi tīmekļa pasta pakalpojumu sniedzēji), pārsteidzošu meklēšanu pasta arhīvos un sola, ka patērētājiem vairs nekad nebūs jādzēš e-pasta ziņojums. Sākumā daudzi domāja, ka paziņojums ir 1. aprīļa joks — gigabaits vienam lietotājam šķita pārāk daudz vietas. Taču, tā kā lielākā daļa lietotāju neizmantos tik daudz krātuves, Google solījums patiešām ir tāds, ka Google var iegādāties jaunus cietos diskus ātrāk, nekā interneta lietotāji tos var aizpildīt. [ Redaktora piezīme: Google priekšlikums finansēt Gmail, rādot reklāmas, kuru pamatā ir lietotāju e-pasta saturs, ir saņēmis nopietnu kritiku no dažādiem privātuma aktīvistiem. Šī mēneša sākumā vairāki privātuma aktīvisti izplatīja vēstuli, aicinot Google nedarbināt Gmail, kamēr šīs privātuma problēmas nav atrisinātas. Simsons Garfinkels parakstīja šo vēstuli kā atbalstītājs pēc šī raksta uzrakstīšanas, bet pirms tā publicēšanas.]

Šķiet, ka Google infrastruktūra ir labi piemērota tāda pakalpojuma kā Gmail izvietošanai. Pagājušajā vasarā Google publicēja tehnisko dokumentu ar nosaukumu Google failu sistēma (GFS), kas acīmredzot ir Google izstrādātā pamatā esošā tehnoloģija, kas nodrošina ātrgaitas replikāciju un piekļuvi datiem visās klasteros. Izmantojot GFS, katra lietotāja e-pastu var replicēt vairākos dažādos Google klasteros; kad lietotāji piesakās pakalpojumā Gmail, viņu tīmekļa pārlūkprogramma var tikt automātiski novirzīta uz tuvāko kopu, kurā bija viņu ziņojumu kopijas.

Šo tehnoloģiju ir grūti iegūt pareizi, un tieši tāda sistēma, kādu Akamai ir izstrādājusi pēdējos sešus gadus. Faktiski principā nav iemesla, kāpēc Akamai nevarētu diezgan viegli izvietot līdzīgu lielapjoma e-pasta sistēmu savos serveros. Nav iemesla, tas ir, izņemot uzņēmuma filozofiju.

Leitons nedomā, ka Akamai pārceltos uz jebkuru biznesu, kurā uzņēmumam būtu jāsadarbojas tieši ar galalietotājiem. Visticamāk, viņš saka, ka Akamai nodrošinās infrastruktūru kādam citam uzņēmumam, kas varētu veikt norēķinus, klientu atbalstu un mārketingu gala lietotājiem. Viņš saka, ka mēs koncentrējamies uz pārdošanu uzņēmumā.

Tam piekrīt arī Džordžs Hamiltons, Yankee Group analītiķis, kurš nodarbojas ar uzņēmumu skaitļošanu un tīklu izveidi. Hamiltons ideju par Google konkurēšanu ar Akamai sauc par neparastu. Taču Google varētu nolīgt Akamai, lai papildinātu Google tehnoloģiju vajadzības, viņš saka.

Tomēr šāda partnerība šķiet maz ticama — vismaz ārēji. Uzņēmums Google varētu iegādāties Akamai, tāpat kā uzņēmums Pyra Labs 2003. gada februārī, lai iegūtu Pyra personīgo tīmekļa publicēšanas sistēmu Blogger. Taču Akamai ar savu atklātības kultūru nešķiet labs risinājums slepenajam Google. Turklāt saskaņā ar Akamai 2003. gada novembra ceturkšņa ziņojumu 20 procentus Akamai ieņēmumu tagad gūst tieši no Microsoft. Google sāncensība ar Microsoft interneta meklēšanā (un tagad arī e-pastā) ir plaši komentēta presē; maz ticams, ka uzņēmums vēlētos tik cieši sadarboties ar tik tuvu Microsoft partneri.

Tirgus izpētes uzņēmuma Forrester viceprezidents Teds Šadlers saka, ka ir iespējams iedomāties abus uzņēmumus, kas konkurē, jo tie abi izmanto vienu un to pašu iespēju masveida, sadalītā skaitļošanā. Šajā ziņā viņiem ir vienāds redzējums. Viņiem ir jāizstrādā daudz vienas un tās pašas tehnoloģijas, jo tās nepastāv. Viņiem ir jāmācās daudzas vienas un tās pašas mācības un jāizstrādā daudzas tādas pašas tehnoloģijas un uzņēmējdarbības modeļi.

Schadler saka, ka Akamai un Google ir piemēri tam, ko viņš sauc par programmējamiem interneta biznesa kanāliem. Šie kanāli ir uzņēmumi, kas piedāvā plašu infrastruktūru, kas var piedāvāt augstas kvalitātes pakalpojumus internetā simtiem miljonu lietotāju, vienkārši nospiežot slēdzi. Google un Akamai ir tādi uzņēmumi, bet arī Amazon.com, eBay un pat Yahoo!. Tie visi ir pakalpojumi, kas nodrošina uzņēmējdarbības pamatu pakalpojumus, kurus [var] droši mērogot, saka Schadler.

Ja es būtu derību cilvēks, piebilst Schadler, es teiktu, ka Google ir daudz vairāk ieinteresēts apkalpot klientu, un Akamai vairāk interesē infrastruktūras nodrošināšana — tā ir mazumtirdzniecība, nevis vairumtirdzniecība. Šo uz mazumtirdzniecību orientēto pakalpojumu būs daudz un daudz.

Ja tā ir taisnība, Google pēkšņi varētu konkurēt ar uzņēmumu, kas, tāpat kā pats Google, šķita cēlies no nekurienes. Izņemot šo laiku, šim uzņēmumam nebūtu jāizdomā neviens no masīvās infrastruktūras vadīšanas trikiem.

Un tas izskaidro, kāpēc Google ir tik slepena.

paslēpties