Bezmaksas visa tīmekļa datu bāze var radīt nākamo Google

Google ir pazīstams kā tikai efektīvāks Web lapu ranžēšanas algoritms. Taču uzņēmums savus panākumus guva arī, pārmeklējot tīmekli, izmantojot programmatūru, kas apmeklē katru lapu, lai izveidotu plašu tiešsaistes satura rādītāju.

Zvanīja bezpeļņas organizācija Kopējā rāpošana tagad izmanto savu tīmekļa rāpuļprogrammu un izveido milzīgu tīmekļa kopiju, ko tas padara pieejamu ikvienam. Organizācija piedāvā vairāk nekā piecus miljardus tīmekļa lapu, kas ir pieejamas bez maksas, lai pētnieki un uzņēmēji varētu izmēģināt lietas, kas citādi ir iespējamas tikai tiem, kam ir piekļuve Google mēroga resursiem.

Tīmeklis, cik man zināms, ir vislielākais zināšanu uzkrājums, un ir tik daudz, ko varat papildināt, saka uzņēmējs Gilads Elbazs, kurš nodibināja Common Crawl. Bet vienkārši milzīgā darba apjoma veikšana, kas nepieciešams, lai vispār iegūtu šo informāciju, ir liels bloķētājs; dažām organizācijām… ir bijuši resursi, lai to paveiktu.

Jaunās meklētājprogrammas ir tikai viena no lietām, ko var izveidot, izmantojot tīmekļa indeksu, saka Elbazs, kurš norāda, ka Google tulkošanas programmatūra tika apmācīta, izmantojot tiešsaistes tekstu, kas pieejams vairākās valodās. Vienīgais veids, kā viņi to varēja izdarīt, bija sākt ar masīvu rāpošanu. Tas liek viņiem izveidot Zvaigžņu ceļš tulks, viņš saka. Atvērts, kopīgs cilvēku zināšanu korpuss ir vienkārši veids, kā demokratizēt piekļuvi informācijai, kas ir būtiska inovācijai.

Elbazs saka, ka pirms aptuveni pieciem gadiem viņš pamanīja, ka pētnieki ar jaunām idejām par tīmekļa datu izmantošanu jutās spiesti ieņemt darbu Google, jo tā bija vienīgā vieta, kur viņi varēja pārbaudīt šīs idejas. Viņš saka, ka Common Crawl dati atvieglos jaunu ideju iegūšanu gan jaunuzņēmumu pasaulē, gan akadēmiskajā pētniecībā.

Elbaz ir lielo datu uzņēmuma dibinātājs un izpilddirektors Faktiski , un pirms tam nodibināja uzņēmumu, ko nopirka Google, lai tas būtu tīmekļa lapu reklāmu biznesa pamats. Common Crawl ir arī Google pētniecības direktors, Pēteris Norvigs un MIT Media Lab direktors Joi Ito tās konsultatīvajā padomē.

Common Crawl līdz šim ir indeksējis vairāk nekā piecus miljardus lapu, pievienojot līdz pat 81 terabaitam datu, kas ir pieejami, izmantojot Amazon mākoņdatošanas pakalpojumu. Par aptuveni 25 ASV dolāriem programmētājs varētu izveidot kontu Amazon un sākt strādāt ar Common Crawl datiem, saka Līza Grīna, Common Crawl direktore. The Interneta arhīvs , cita bezpeļņas organizācija, arī apkopo tīmekļa kopiju un piedāvā pakalpojumu, ko sauc par Wayback mašīna kas var parādīt noteiktas lapas vecās versijas. Tomēr tas nevienam neļauj šādā veidā analizēt visus savus datus uzreiz.

Common Crawl jau ir iedvesmojis vai palīdzējis dažiem jauniem tīmekļa jaunizveidotiem uzņēmumiem. TinEye , apgrieztā meklētājprogramma, kas atrod attēlus, kas ir līdzīgi lietotāja nodrošinātajam, izmantoja agrīnos Common Crawl datus, lai sāktu darbu. Viena programmētāja personīgais projekts, izmantojot Common Crawl datus, lai noteiktu, cik tīmekļa lapu savienojas ar Facebook. aptuveni 22 procenti, viņš secināja — noveda pie finansējuma nodrošināšanas jaunizveidojumam, Laimīgā austere , pamatojoties uz to, lai palīdzētu cilvēkiem savos sociālajos datos atrast noderīgu informāciju.

Citas projekta īstenotās idejas radās pagājušajā gadā notikušajā konkursā, kurā tika piešķirtas balvas labākie lietošanas gadījumi . Viens no uzvarētājiem izmantoja Wikipedia saites rāpuļprogrammas datos, lai izveidotu pakalpojumu, kas spēj definēt vārdu nozīmes; cits mēģināja noteikt sabiedrības attieksme pret Kongresa likumdošanu analizējot tiešsaistes diskusiju saturu par jaunajiem likumiem.

Ričs Skrenta, meklētājprogrammas palaišanas līdzdibinātājs un izpilddirektors Blekko (skatiet sadaļu As Google Tinkers With Search, Upstarts Gain Ground), teikts, ka Common Crawl dati atbilst noteiktiem starta kopienām. Viņš saka, ka Blekko ir uzrunājuši jaunuzņēmumi ar tehnoloģijām, kam nepieciešama piekļuve lielām tiešsaistes datu kolekcijām. Šāda veida dati tagad ir viegli pieejami no Common Crawl, saka Skrenta, kura uzņēmums 2012. gada decembrī pievienoja daļu no saviem datiem projektā. Blekko kopīgoja informāciju no savas sistēmas, kas klasificē tīmekļa lapas pēc satura, piemēram, atzīmējot, vai tajās nav ietverta pornogrāfija. vai surogātpastu.

Bens Džao , Kalifornijas Universitātes Santabarbaras asociētais profesors, kurš izmanto lielas tīmekļa datu kolekcijas, lai pētītu darbību sociālajās vietnēs (skatiet Hidden Industry Dupes Social Media Users), saka, ka Common Crawl dati, visticamāk, ir unikāli. Svaigi, liela mēroga pārmeklēšanas gadījumi ir diezgan reti, un es personīgi nezinu vietas, kur tīmeklī iegūt lielus pārmeklēšanas datus, viņš saka.

Tomēr Džao atzīmē, ka dažas no interesantākajām un vērtīgākajām tīmekļa daļām Common Crawl datos nebūs labi attēlotas: mūsdienās sociālās vietnes ir diezgan jutīgas pret to saturu, un daudzas ievieš pretrāpuļprogrammas mehānismus, lai ierobežotu ātrumu ikvienam. var piekļūt viņu saturam.

Lai piekļūtu šiem datiem, pētniekiem ir jāveido attiecības ar uzņēmumiem un jāpaļaujas uz visu, ko tie izlaidīs — ceļš ir mazāk pieejams jaunizveidotiem uzņēmumiem, kurus var uzskatīt par konkurenci.

paslēpties