Arī jūs varat būt nākamais Google

Es strādāju Google četrus gadus, un uzņēmumam Google acīmredzami ir par dažiem datoriem vairāk nekā mums, saka Toms Annau, Blekko inženierzinātņu viceprezidents, meklētājprogramma, kas apgalvo, ka ir līdzvērtīga esošajiem meklēšanas gigantiem Bing un Google, atskaitot spams.

Izmantojot jaunas vietnes kā starpniekserveri, cilvēku zināšanu pieaugums ir palēninājies…

Taču faktiskās, noderīgas un interesantas informācijas apjoms internetā nepalielinās tik strauji kā Mūra likums, viņš piebilst.

Mūra likums ir ne tik daudz likums, cik vispārēja tendence mikroprocesoru nozarē — tik daudz tādu uzņēmumu kā Intel gadu desmitiem ilgo pētniecības un attīstības rezultāts, kas ir jebkādu pamatā esošo fizisko principu rezultāts. Tajā teikts, ka mikroprocesoru skaits, ko varat iegūt par dolāru, aptuveni dubultojas ik pēc 18 mēnešiem. Tas nozīmē mazākas, ātrākas mikroshēmas, kuru jauda ir eksponenciāli pieaugusi vismaz kopš 1960. gadiem.

Turpretim tīmekļa izaugsme var izlīdzināties . Tomēr kā jebkurš uzņēmums, vēl jo mazāk jaunizveidots uzņēmums, varētu cerēt konkurēt ar tādu uzņēmumu kā Google un Microsoft patiesi milzīgo serveru un tīkla infrastruktūru?

Meklēšana tīmeklī joprojām ir lietojumprogramma, kas diezgan stingri nospiež pašreizējo skaitļošanas ierīču robežas, saka Annau. Taču Blekko izveido pilnīgu, jaunāko tīmekļa indeksu ar mazāk nekā 1000 serveriem — iespējams, mazāk nekā jebkurā no Google primārajiem datu centriem —, izmantojot problēmas samazināšanu līdz pārvaldāmam izmēram. veidi, kā meklēšanas milži nevar vai nevēlas.

Mēs cenšamies izvairīties no surogātpasta un cita slikta satura pārmeklēšanas, saka Annau. Es domāju, ka citiem dzinējiem ir rāpošanas politika, vispirms uzdodiet jautājumus un vēlāk. Viena efektivitāte, ko mēs gūstam, ir tikai nepārmeklēt slogus [surogātpasta emuārus] un citus ar mašīnu ģenerētus mēles.

Gandrīz viss datorizētais saturs tīmeklī tiek radīts tieši tādēļ, lai notvertu meklētājprogrammu zirnekļus, kas to pārmeklē, un pieblīvētu to indeksus ar reklāmām pilnām lapām. Izvairoties no šīm vietnēm kopā, izmantojot surogātpasta noteikšanas algoritmus un cilvēku pārraudzību, Blekko ietaupa milzīgus resursus.

Ir zināms līmenis, kuru pārsniedzot, turpinot rāpošanu, jūs vairs nemeklēsit interesantākus, noderīgākus vai labus materiālus — lielas tīmekļa rāpuļprogrammas izmantošanas atdeve samazinās, saka Annau.

Blekko izmanto arī citu meklētājprogrammu izmantoto taktiku — dalītu rāpuļprogrammu, kas rūpīgi indeksē visu tīmekli, tostarp lielu daļu tā statiskā satura, retāk nekā ātra rāpuļprogramma, kas pastāvīgi pārindeksē vietnes, kas bieži mainās, piemēram, ziņas un emuārus.

Mēs agresīvi pārmeklējam daudzus augstas kvalitātes, ātri mainīgos avotus, saka Annau. To var redzēt, veicot meklēšanu ar slīpsvītru datumu — jūs varat redzēt saturu, kas tika saņemts tikai pirms minūtes.

Mūra likums virzās uz priekšu.
(DC)Vgsimons

Annau ilgtermiņa skatījums uz meklēšanu ir tāds, ka visa tīmekļa vai vismaz noderīgo daļu indeksēšana kļūst vieglāk izsekojama, nevis mazāka. Šajā aprēķinā Microsoft un Google un citas lielas meklētājprogrammas reklamē savu datu centru mērogu, lai daļēji iebiedētu potenciālos konkurentus; lai šķēršļi ienākšanai meklēšanas biznesā šķistu augstāki, nekā tie patiesībā ir.

Neatkarīgi no tā, vai mums izdosies vai neizdosies startēt, tā būs taisnība, ka ar katru gadu atsevišķi serveri kļūs arvien jaudīgāki, un iespēja pārmeklēt un indeksēt noderīgo informāciju tīmeklī kļūs arvien pieejamāka, saka Annau.

Katrs jaunuzņēmums ir hipotēze par zināmu efektivitāti tirgū, ko viņi uztver, viņš piebilst. Blekko un citiem meklētājprogrammu jaunizveidotiem uzņēmumiem, piemēram, Gabriela Veinberga viena cilvēka operācijai Duck Duck Go, šī efektivitāte ir tāda, ka cilvēku zināšanu summu parocīgi pārsniegs skaitļošanas jaudas pieauguma temps.

Kā labprāt norāda Blekko izpilddirektors Ričs Skrenta, Vikipēdijas izaugsme izlīdzinās. Pasaulē vienkārši nav tik daudz tēmu — cilvēki var pievienot un rediģēt lapas, taču jūs neredzēsiet, ka tās apjoms nepārtraukti dubultosies, saka Annau.

Sekojiet Mimsam Twitter vai sazinieties ar viņu pa e-pastu .

paslēpties