Akamai algoritmi

Jūs veicat matemātiku. Tomam Leitonam, MIT Datorzinātņu laboratorijas jeb LCS profesoram, pieder gandrīz 10 miljoni akciju uzņēmumā Akamai Technologies, kuru viņš līdzdibināja 1998. gada augustā. Pagājušā gada oktobrī Akamai iznāca publiskajā apgrozībā ar cenām sākotnējā publiskajā piedāvājumā (IPO). ) sākot no USD 26 par akciju; līdz dienas beigām investori bija piedāvājuši cenu līdz 145 USD par akciju. Mēnesi vēlāk akcijas tika pārdotas par 327 USD par akciju. Neatkarīgi no tā, cik daudz jūs esat satraukts par matemātiku, jūs saprotat, ka Toms Leitons bija kļuvis par ļoti bagātu cilvēku.

Akadēmiķis, kura zināšanas ir paralēlu algoritmu un lietišķās matemātikas jomā, Leitons no pirmā acu uzmetiena ir maz ticams kandidāts interneta tvīda veiksmes stāstam. Bet, rūpīgāk pārbaudot, tas ir pilnīgi loģiski. Gadiem ilgi Leitons ir rūpīgi pārbaudījis, kā darbojas sarežģīti tīkli un kā tos var optimizēt. Tātad, pirms pieciem gadiem, kad Tims Berners-Lī (pasaules tīmekļa izgudrotājs) ieradās LCS zālē, meklējot veidus, kā labāk pārvaldīt pieaugošo satiksmes plūsmu internetā, Leitons un viņa absolventu komanda bija acīmredzams. vieta, kur iekāpt.

Šis stāsts bija daļa no mūsu 2000. gada septembra numura

• Skatiet pārējo izdevuma daļu
• Abonēt

Dažu nākamo gadu laikā Leitons un vairāki MIT maģistrantūras studenti un studenti mēģināja izdomāt labāku veidu, kā pārvaldīt un izplatīt saturu tīmeklī. 1998. gada sākumā grupa, kurā bija absolvents Daniels Levins (kurš kopā ar Leitonu un Džonatanu Zīligu, MIT Sloanas skolas studentu, nodibināja Akamai), piedalījās MIT 50 000 USD uzņēmējdarbības konkursā. Komanda bija fināliste, bet neuzvarēja. Tomēr riska kapitālisti klauvēja. Un pārējais ir interneta vēsture. Šobrīd uzņēmums pārvalda pasaules mēroga tīklu, kurā ir vairāk nekā 4000 serveru, kas izplata tīmekļa saturu tādiem klientiem kā Yahoo!, CNN un C-SPAN; ja datora lietotājs pieprasa, piemēram, video straumēšanu no C-SPAN vietnes, Akamai serveru sistēma palīdz piegādāt šo saturu, tādējādi izvairoties no sastrēgumiem C-SPAN centralizētajā vietnē. Izkliedētais tīkls padara satura piegādi tīmeklī ātrāku un uzticamāku.

Neraugoties uz IPO džekpota sasniegšanu, maigi runājošais MIT profesors (šobrīd ir atvaļinājumā no LCS) demonstrē dažas acīmredzamas materiāla veiksmes pazīmes. Akamai jaunajā galvenajā mītnē, kas atrodas blakus MIT universitātes pilsētiņai, uzņēmuma galvenais zinātnieks Leitons ieņem pieticīgu stūra biroju, kas pārrauga kabīņu labirintu. Tas lielā mērā ir profesora birojs, un Leitons runā pacietīgos un precīzos vārdos, ko kāds pieradis izskaidrot, kā lietas darbojas. TR vecākais redaktors Deivids Rotmans nesen apmeklēja nodarbību par trafika pārvaldību mūsdienu internetā.

TR: Kad jūs iedomājāties, ka varat izmantot algoritmus, lai optimizētu satura piegādi tīmeklī?
LEĪTONS: Pirmo reizi par internetu domāju 1995. gadā. Mans birojs [MIT's LCS] atrodas Tima Bernersa-Lī un tīmekļa konsorcija gaitenī. Laika gaitā mēs runājām par dažām problēmām, ar kurām saskaras internets. Šīs ir liela mēroga tīkla problēmas, ar kurām strādāja mūsu grupa un par kurām es esmu ilgtermiņa interese. Tāpēc mēs dažas no tām pieņēmām kā pētniecības projektus.

TR: Savā ziņā internets patiešām ir galvenais tīkla izaicinājums, vai ne?
LEĪTONS: Jā. Pareizi.

TR: Kāda bija problēma, ar kuru sākāt 95. gadā?
LEĪTONS: Mēs meklējām veidus, kā tikt galā ar zibspuldzes drūzmēšanos un karstajiem punktiem. Tieši šeit daudzi cilvēki vienlaikus dodas uz vienu vietni un pārpludina vietni un sagrauj apkārtējo tīklu un padara visus neapmierinātus.

TR: Vai varat izskaidrot jūsu izstrādātās tehnoloģijas?
LEĪTONS: Šodien mēs, iespējams, esam viens no lielākajiem izplatītajiem tīkliem pasaulē. Augstā līmenī mēs apkalpojam saturu vai apstrādājam lietojumprogrammas galalietotājiem, un mēs to darām no serveriem, kas atrodas tuvu galalietotājiem. Aizvērt ir kaut kas, kas mainās dinamiski, pamatojoties uz tīkla apstākļiem, servera veiktspēju un slodzi. Tā kā esam tuvu, mēs varam izvairīties no daudzām pārtraukšanas, aizkavēšanās un pakešu zudumiem, kas varētu rasties, atrodoties tālu. Iepriekš jūs parasti sazinājāties ar centrālo vietni. Un parasti tas bija tālu. Tagad jums parasti ir daudz mijiedarbības — ne visas, bet liela daļa — ar Akamai serveri, kas atrodas jūsu tuvumā un tiek atlasīts reāllaikā.

TR: Kādi ir triki un izaicinājumi, lai šī izplatītā sistēma darbotos?
LEĪTONS: Tā ir ārkārtīgi smaga zona; jūs nevarat vienkārši izmest vairākus serverus un likt tiem visiem strādāt savā starpā. Paši serveri izgāzīsies. Procesori neizdosies. Internetam ir dažādas problēmas un atteices režīmi. Tāpēc visas šīs lietas ir jāiekļauj algoritmiskajā pieejā. Kā izstrādāt decentralizētu algoritmu ar nepilnīgu informāciju, kas joprojām darbosies? Tas ir milzīgs izaicinājums. Bet tas ir skaidrs, kas jums jādara. Jums nevar būt kāds centrālais kļūmes punkts, pretējā gadījumā sistēma izzudīs. Es nevaru iedomāties komponentu vai aparatūras daļu, kas kādā brīdī vai vietā nav sabojājusies. Tātad, tas ir noteikts [ka jums ir nepieciešama izplatīta sistēma].

Kad klients ierodas pie kāda no mūsu klientiem, meklējot saturu, mums ir jānoskaidro, kur šis klients atrodas, no kuras mūsu atrašanās vietas tajā brīdī ir vislabāk apkalpot klientu un kādi ir slodzes apstākļi, lai mēs to nedarītu. pārslogot jebko. Mums ir jātiek galā ar zibspuldzes pūļiem, kas ir gan ģeogrāfiski, gan saturiski specifiski. Mums ir nekavējoties jāreplicē saturs, lai risinātu jebkādas šāda veida problēmas, taču jūs nevarat atļauties visur iegūt visa satura kopijas. Jums ir jāpieņem šie lēmumi un jāatbild klientiem milisekundēs. Mums ir jābūt automātiskiem. Un, ja gabali neizdodas, jums tas ir automātiski jākompensē.

TR: Tas ir tas, ko jūs saucat par defektu tolerantu?
LEĪTONS: Jā, un jums ir jābūt iecietīgam pret kļūmēm visos aspektos. Tad ir arī tās, kas nav acīmredzamas. Tāpat kā norēķini. Mēs apkalpojam miljardus trāpījumu dienā un maksājam par katru trāpījumu. Mums ir jānoskaidro, kura saturs tas bija un cik baitu tajā ir, un jāiesniedz viņiem par to rēķins. Papildus tam mums ir pakalpojums, ko piedāvājam saviem klientiem, kur viņi 60 sekunžu laikā var redzēt, cik trāpījumu mēs viņiem nodrošinājām pēdējo 60 sekunžu laikā. Turklāt mēs saviem klientiem varam sadalīt informāciju par to, no kurienes nāk trāpījumi pēc valsts vai valsts. Tā ir sarežģīta algoritmiska problēma. Kā jūs to patiesībā darāt? Un lai tas darbotos ar ierobežotu aparatūras un resursu daudzumu?

TR: Aparatūra patiesībā nav šī atslēga, vai ne?
LEĪTONS: Tā pat nav galvenā sastāvdaļa. Es nevēlos noniecināt mūsu aparatūras partnerus, taču galvenais šeit ir algoritmiskā un programmatūras infrastruktūra. Tas ir svarīgi.

TR: Kāda ir jūsu konkurence, piedāvājot izplatītu tīklu satura piegādei?
LEĪTONS: Tur īsti nav daudz. Mēs atrodamies laikā, kad ir daudz biznesa plānu un daudz stāstu. Mūsdienās nav daudz reālu pakalpojumu. Gandrīz vienīgais konkurents mūsu telpā ir Digital Island, kas nesen iegādājās Sandpiper [Networks]. Ir arī citi, kas ir paziņojuši par [biznesa plāniem], bet vēl aktīvi nenodrošina satiksmi. Viena no lietām, kas atšķir Akamai, ir pētniecības un inženierijas, kā arī pētniecības un attīstības darbs, kas tika ieguldīts sistēmas projektēšanā. Tas nav tikai kastu kaudze izmešana. Ir uzņēmumi, kas ir mēģinājuši to darīt bez izplatītas sistēmas. Uzņēmumi, kas pirms diviem vai trim gadiem paziņoja par pakalpojumiem, pamatojoties uz šo pieeju, joprojām nedarbojas. To darīt neizdevās.

TR: Kādi ir gaidāmie tehnoloģiju izaicinājumi? Vai ir nepieciešams ātrāk piegādāt saturu?
LEĪTONS: Tā ir sastāvdaļa. Mēs cenšamies izpildīt interneta solījumu. Pastāv doma, ka attiecībā uz internetu notiek milzīga revolūcija. Tajā pašā laikā pastāv neapmierinātība ierobežojumu dēļ. Tas, ko mēs cenšamies darīt, ir padarīt internetu noderīgāku. Un tā sastāvdaļa padara to ātrāku un uzticamāku. Vēl viens komponents, kas ir nedaudz saistīts, ļauj nodrošināt bagātinošāku saturu. Ja mēs varam uzlabot straumēšanu un šajā gadījumā problēma nav tik liela, bet gan joslas platums un bez pakešu zuduma, jūs iegūsit daudz labāku attēlu savā ekrānā; jūs ar to darīsit vairāk, un vairāk cilvēku to izmantos satura un informācijas nodošanai. Un tas ir nenovērtējams, lai bagātinātu interneta jaudu.

Bet ne viss ir grūstošs. Akamai piedāvā pakalpojumus tādām iespējām kā interneta konferences, kas nodrošina, piemēram, tālmācību. Izmantojot šos pakalpojumus, satura nodrošinātāji vai uzņēmumu klienti var efektīvi piegādāt saturu un mijiedarboties ar mazām vai lielām auditorijām tīmeklī, izmantojot tiešraides audio un video; ir funkcijas prezentāciju kopīgošanai, auditorijas aptaujām un ziņojumapmaiņas regulēšanai.

TR: Kad ieviešat jaunu funkciju, piemēram, konferences, kādas prasības tā izvirza tīklam?
LEĪTONS: Kā jūs plānojat to īstenot? Kā jūs plānojat to integrēt šajā lielajā izplatītajā platformā? Kā jūs plānojat to uzturēt tūkstošiem klientu? Jums ir tūkstošiem klientu un simtiem miljonu cilvēku, kas piekļūst šiem klientiem, un mēs esam pa vidu. Un tam visam jādarbojas pašam no sevis. Jūs nevarat pērtiķoties. Konferenču organizēšana izklausās vienkārši. Bet tas nav tik vienkārši, ja runājat par šāda veida mērogu. Kad cilvēki domā par straumēšanu, viņi domā par vienu avotu, no kura nāk saturs, un pēc tam tas sazarojas kokā, izmantojot internetu. Šīs vietas var sabojāties, un tad visiem tiem cilvēkiem, kas atrodas lejup pa straumi, nepaveicas. Mēs esam izstrādājuši pilnīgi jaunu veidu, kā to darīt, lai nebūtu kritiska neveiksmes punkta. Ja avots nomirst, jūs esat iestrēdzis. Bet, tiklīdz [saturs] ir ārpus avota, mēs to atkārtojam un izplatām visā sistēmā. Tātad, tas nav koks.

TR: Kā tas izskatās?
LEĪTONS: To ir grūti aprakstīt. Padomājiet par to, ka starp avotu un galamērķi notiek vairākas pārraides, tādējādi varat zaudēt saturu šajos ceļos; pakešu zudumi var rasties jebkurā vai visās no tām, taču galapunktā jums ir pietiekami daudz informācijas, kas nāk no šīm vietām, lai jūs varētu rekonstruēt signālu. Tātad, ja pa ceļam kaut kas tiek nogalināts, piemēram, tiek nogalināts ceļš, tas netiek ietekmēts.

TR: Mēs visi esam pieredzējuši neapmierinātību ar video straumēšanu. Runājot par tehnoloģiju, kas būs nepieciešams, lai padarītu to uzticamāku? Kad mēs varēsim skatīties tīmekļa pārraides tikpat viegli kā televīziju pilnekrāna režīmā?
LEĪTONS: Lai video straumēšana būtu uzticamāka, jums ir nepieciešams satura izplatīšanas pakalpojums, kas uzticami nogādā bitus līdz tīkla malai, un pēc tam jums ir jābūt uzticamam pēdējās jūdzes savienojumam ar internetu. Ja vēlaties iegūt augstas kvalitātes video, labāk ir izveidot interneta savienojumu ar lielu joslas platumu. Vēl paies kāds laiks, līdz varēsit plaši iegūt TV kvalitātes video straumes.

Mēs esam demonstrējuši tiešraides straumi megabiti sekundē. Patiesībā pavisam nesen mēs nodevām tūkstošiem straumju ar ātrumu viens megabits sekundē tiešraides klientiem, kuri piekļuva Stīva Džobsa [Apple Computer izpilddirektors] konferences galvenajai uzrunai. Šis ir nozīmīgs pavērsiens internetam. Izmantojot šo tehnoloģiju, jūs iegūstat ļoti augstas kvalitātes video straumi. Ja pēdējā jūdze ir platjoslas savienojums, tad viss ir gatavs darbam. Viena lieta, pie kuras mēs strādājam, ir joslas platuma profilēšana. Ideja ir automātiski noteikt pēdējās jūdzes joslas platumu. Vai klientam ir platjoslas pieslēgums, 28K modems, vai tas ir šaurjoslas mobilais tālrunis vai kas cits? Pēc tam mēs piegādājam saturu kā funkciju. Tātad, ja konstatējat, ka klientam ir liels joslas platums, viņš iegūst liela joslas platuma versiju — straumēšanas versiju, nevis statisko versiju. Vai arī šaura joslas platuma gadījumā jūs saņemat drukātu versiju, nevis grafiku.

TR: Šķiet, ka tīmekļa būtība mainās līdz ar tādām funkcijām kā video straumēšana un konferences. Pie kā Akamai strādās pēc pieciem gadiem? Kāds, jūsuprāt, tad būs internets?
LEĪTONS: Notikumi rit tik ātri, ka to tiešām ir grūti paredzēt. Cilvēki, kuri mēģina paredzēt, ēd savus vārdus. Es domāju, ka mēs esam tikai interneta revolūcijas sākumā. Es domāju, ka mēs pat neesam sākuši domāt par visām lietām, ko varam darīt internetā. Es nevaru pateikt, kāds būs karstais pakalpojums pēc pieciem gadiem. es nezinu. Es cerētu, ka līdz tam laikam, piemēram, straumēšanas kvalitāte ir daudz labāka. Ka tā ir ikdienas dzīves sastāvdaļa. Es vismaz sagaidu, ka tipiskā tīmekļa pieredze kļūs bagātāka, efektīvāka un uzticamāka nekā šodien.

TR: Daudzi jūs uzskata par akadēmiķa paraugu, kas padara to par lielu uzņēmēju jaunajā ekonomikā. Ko jūs sakāt tiem, kas vēlas līdzināties jūsu panākumiem?
LEĪTONS: Man nekad nav bijusi vēlme kļūt par uzņēmēju. Es mīlu akadēmiķus un esmu līdzdibinātājs Akamai, jo uzskatījām, ka tas ir labākais veids, kā pārnest mūsu tehnoloģiju no pētniecības vides praksē. Bija patiešām patīkami izņemt tehnoloģijas, jo īpaši tehnoloģijas no universitātes, un ar to panākt pārmaiņas. Tā, iespējams, ir lielākā balva. Bieži vien ir nepieciešami 10 līdz 20 gadi, lai tehnoloģija universitātē patiešām izpaustos praksē. Un šoreiz mēs varam ievērojami samazināt šo laiku. Esmu ļoti priecīgs, ka rakstu darbu, ko lasa tikai pieci cilvēki. Diezgan gudri cilvēki to izlasīs, un man tas patīk. Tas ir tas, ko es pavadīju visu savu dzīvi. Bet tas ir kaut kas ar iespēju kaut ko mainīt.

TR: Vai jums kādreiz pietrūkst to dienu, kad, kā pats izteicāties, pavadījāt laiku, rakstot darbus, kurus varbūt pieci cilvēki spēja izlasīt un saprast?
LEĪTONS: Jā, lai gan man nav daudz laika par to domāt.

paslēpties