211service.com
Tīmekļa ievietošana izklājlapā
Tīmeklī ir brīvi pieejams milzīgs datu apjoms, un tas var būt potenciāls dārgumu krātuve daudziem uzņēmumiem, ja vien tie var izdomāt, kā tos efektīvi izmantot.
Kārtošana un filtrēšana: BigSheets ļauj lietotājiem analizēt nestrukturētus datus no tīmekļa, izmantojot rīkus, kas ir līdzīgi tiem, kas atrodami darbvirsmas izklājlapu programmatūrā.
Uzņēmums, piemēram, pirms cita uzņēmuma iegādes var izpētīt datus no ASV Patentu un preču zīmju biroja un tiesas ierakstiem, lai noskaidrotu, vai kāds no tā intelektuālajiem īpašumiem nav saistīts ar tiesvedību. Tomēr praksē tik daudz informācijas caurstrāde prasa laiku un pūles, lai to sakārtotu.
IBM cer, ka jauns rīks, ko sauc BigSheets , palīdzēs lietotājiem vieglāk analizēt tīmekļa datus. Uzņēmums Britu bibliotēkai ir izstrādājis programmatūras testa versiju.
Ikviena lietotāja spēja veikt savu interesantu analīzi kļūst pilngadīga, saka Rods Smits, IBM jauno interneta tehnoloģiju viceprezidents.
BigSheets ir veidota, pamatojoties uz citu programmatūru, ko sauc par Hadoop. Šī ir atvērtā pirmkoda platforma ļoti lielu tīmekļa datu apjomu apstrādei, sadalot uzdevumus un nododot tos dažādu datoru klasterim. Hadoop bieži izmanto, lai analizētu lielu daudzumu nestrukturētu tīmekļa datu.
BigSheets izmanto Hadoop, lai pārmeklētu tīmekļa lapas, parsējot tās, lai iegūtu galvenos vārdus un citus noderīgus datus. BigSheets sakārto šo informāciju ļoti lielā izklājlapā, kur lietotāji var to analizēt, izmantojot tādus rīkus un makro, kas atrodami darbvirsmas izklājlapu programmatūrā. Tomēr atšķirībā no parastās izklājlapu programmatūras, izmantojot BigSheets izveidotās izklājlapas lielums nav ierobežots.
Lai izmantotu BigSheets, lietotājs norāda rīku uz vietrāžu URL kopu vai datu krātuvi. Terminu sarakstus var izmantot, lai sakārtotu datus rindās un tabulās, un vēlāk tos var pielāgot.
Smits saka, ka IBM izvēlējās izklājlapu kā modeli datu organizēšanai, jo lielākā daļa lietotāju jau ir pazīstami ar šādu programmatūru. Ja lietotāji vēlas attēlot datus sarežģītākos veidos, rīks darbosies ar IBM vizualizācijas rīku, ko sauc Daudzas Acis , kā arī citu vizualizācijas programmatūru.
Tagu komanda: Vizualizācijas rīkus var izmantot kopā ar BigSheets, lai atrastu modeļus nestrukturētajos datos.
BigSheets ir tāds integrācijas līmenis, kādu es neesmu redzējis, saka Es esmu Lorica , tehniskās izdevējsabiedrības O’Reilly Media pētniecības grupas vecākais analītiķis. Lorica saka, ka tradicionāli uzņēmumi BigSheets funkcijas ir sadalījuši trīs atsevišķos uzdevumos — tīmekļa pārmeklēšanā, datu analīzē un vizualizācijā. Tā kā BigSheets pamatā ir Hadoop, kas pamatā ir paredzēts darbam ar milzīgu datu daudzumu, Lorica saka, ka BigSheets mērogs nav problēma.
Tomēr viņš brīdina, ka BigSheets ir agrīnā stadijā un ir jāpārbauda ar citiem datiem. Tā kā tehnoloģija tiek izstrādāta kopā ar konkrētiem IBM partneriem, nav skaidrs, cik viegli uzņēmumam būtu to sākt lietot, viņš saka. Viņš saka, ka Hadoop klastera iestatīšana var būt sarežģīts uzdevums, un, ja BigSheets nav pareizi iesaiņots, uzņēmumiem var būt nepieciešama konsultantu armija, lai sagatavotu ceļu rīkam.
Pirmais BigSheets tests tika veikts Britu bibliotēkā, kas kopš 2004. gada strādā, lai izveidotu arhīvu ar aptuveni astoņiem miljoniem Apvienotās Karalistes vietņu. Regulāros intervālos Bibliotēka uzņem Web lapu momentuzņēmumus, pārvērš tos arhīva faila formātā un saglabā tos. Taču šo datu meklēšana un analīze ir vēl viens izaicinājums, un tieši šeit ienāca BigSheets.
Smits saka, ka mazāk nekā astoņu stundu laikā viņa komanda paņēma 4,5 terabaitus arhīva failu un apstrādāja tos, izmantojot četru iekārtu Hadoop kopu. Pēc Britu bibliotēkas pētnieku norādījumiem komanda izmantoja BigSheets, lai no šīm nestrukturētajām tīmekļa lapām iegūtu atslēgvārdus, informāciju par autoru un citus metadatus. Viņi eksperimentēja ar terminu biežuma analīzi un veica tagu mākoņus un citas vizualizācijas.
Britu bibliotēkas pētnieki pirmās dienas laikā varēja pielāgot metadatu veidus, kas viņus interesēja, vairāk koncentrējoties uz lapu autoru, nekā viņi sākotnēji bija iecerējuši. Vizualizācijas sniedza jaunus ieskatus. Piemēram, izmantojot tagu mākoni, pētnieki atklāja, ka britu politiskās figūras un rakstnieka vārds Alasters Kempbels bieži tika nepareizi uzrakstīts kā Alisters, atklājot lielu skaitu atbilstošu ierakstu, kurus viegli varēja neievērot.
Eitans Adars , Mičiganas Universitātes informācijas un datorzinātņu docents, kurš pēta interneta mēroga sistēmas, teksta ieguvi un vizualizāciju, saka, ka šim rīkam varētu būt liela ietekme. Lai gan šķiet, ka Britu bibliotēkas saturs aprobežojas ar dažiem momentuzņēmumiem katrā lapā, tas joprojām nozīmē daudz datu, un vienkārši meklēšanas rezultātu izmešana, atbildot uz vaicājumu, nav lietderīga, saka Adars.
Adars ir izstrādājis savu rīku, ko sauc Zoetrops , lai analizētu, kā Web lapas laika gaitā ir mainījušās. Viņš saka, ka BigSheets sniedz jaunus ieskatus, salīdzinot datus no daudzām dažādām lapām, kā arī laika gaitā. Adars saka, ka efektīvas vizualizācijas ir ļoti svarīgas, lai lietotāji ātri saprastu lielas datu kolekcijas.
Pēc turpmākas pārbaudes IBM cer iekļaut BigSheets savos esošajos pakalpojumos un produktos.