70 tiešsaistes datu bāzes, kas nosaka mūsu planētu

Aprīlī mēs izskatījām ambiciozu Eiropas plānu visas planētas simulēšanai. Ideja ir izmantot milzīgos datu apjomus, ko rada finanšu tirgi, veselības ieraksti, sociālie mediji un klimata monitorings, lai modelētu planētas klimatu, sabiedrību un ekonomiku. Vīzija ir tāda, ka šāda sistēma var palīdzēt izprast un paredzēt krīzes pirms to rašanās, lai valdības varētu veikt atbilstošus pasākumus jau iepriekš.

Šeit ir daudz izaicinājumu. Nevienam vēl nav šādam uzdevumam nepieciešamās skaitļošanas jaudas, kā arī nav modeļu, kas spētu precīzi modelēt pat daudz mazākas sistēmas. Bet pirms tas ir iespējams, pētniekiem ir jāapkopo ekonomiskie, sociālie un tehnoloģiskie dati, kas nepieciešami šīs mašīnas padevei.

Šodien mēs saņemam grandiozu ekskursiju par šo izaicinājumu no Dirka Helbinga un Stefano Balietti Šveices Federālajā tehnoloģiju institūtā Cīrihē. Helbings ir šī projekta dzinējspēks un cilvēks, kurš to vadīs, ja saņems no Eiropas Komisijas vajadzīgo 1 miljardu eiro.

Izrādās, ka jau ir daudz datu avotu, kas varētu nodrošināt nepieciešamo degvielu Helbingas Zemes simulatora darbināšanai. Helbings un Balietti saka, ka pagātnē cilvēka darbības datu vākšanu lielā mērā kavēja finansiāli, tehnoloģiski un ētiski jautājumi. Tā vairs nav.

Lai gan agrāk bija grūti iegūt labus datus no sociālo zinātņu eksperimentiem, pētniekus pašlaik pārņem tie, pateicoties jaunas paaudzes laboratorijas eksperimentiem, tīmekļa eksperimentiem un masveida vairāku spēlētāju tiešsaistes spēļu izpētei.

Šīs un citas darbības tagad rada milzīgu datu apjomu, no kuriem daudzi ir brīvi pieejami tīmeklī.

Protams, viens no šādas pieejas draudiem ir tāds, ka visas ētikas problēmas, visticamāk, pārņems šis skaitļu paisuma vilnis. Tas ir steidzami jārisina. Kamēr Helbings un kolēģi pārliecinoši raksta par Zemes simulatora potenciālajiem ieguvumiem, ir grūti noticēt, ka viņi ir tikpat daudz domājuši par iespējamiem riskiem.

Tāpēc, lai stimulētu šīs debates, es šeit atkārtoju Helbinga sarakstu ar vietnēm, kas ir potenciālie datu avoti Zemes simulatoram. Tas padara aizraujošu, lai arī satraucošu lasīšanu:

Internets un vēsturiski momentuzņēmumi
Interneta arhīvs / Wayback mašīna
Interneta arhīvs piedāvā pastāvīgu piekļuvi pētniekiem, vēsturniekiem, zinātniekiem, cilvēkiem ar invaliditāti un plašai sabiedrībai vēsturiskām kolekcijām, kas pastāv digitālā formātā. Interneta arhīvs, kas dibināts 1996. gadā, tagad ietver tekstus, audio, kustīgus attēlus un programmatūru, kā arī arhivētus

Wikipedia
Vikipēdija ir visslavenākā kooperatīvi rediģētā enciklopēdija. Tā kā visas izmaiņas tiek saglabātas, tīmekļa lapu vēsture var piedāvāt detalizētu, uz tematu balstītu pārskatu par svarīgākajām pagātnes atsaucēm.

Zināšanu centri
Saišu kolekcija uz citiem resursiem, lai atrastu Web lapas, kādas tās bija agrāk.

Kadago
Whenago nodrošina ātru piekļuvi vēsturiskai informācijai par to, kas konkrētā dienā notika pagātnē.

Pasaules digitālā bibliotēka
Pasaules digitālā bibliotēka (WDL) padara pieejamus internetā bez maksas un daudzvalodu formātā nozīmīgus primāros materiālus no valstīm un kultūrām visā pasaulē.

Informācijas izguves dzinēji
Freebase
Freebase ir atvērta, Creative Commons licencēta vairāk nekā 12 miljonu entītiju strukturētu datu krātuve. Tas nodrošina sadarbības rīkus entītiju saistīšanai un to atjaunināšanai.

Wolfram Alpha skaitļošanas zināšanu dzinējs
Mēģinājums aprēķināt visu, ko var aprēķināt par jebko. Tā mērķis ir nodrošināt vienu avotu, uz kuru ikviens var paļauties, lai sniegtu galīgas atbildes uz faktiskiem jautājumiem.

Teksta ieguve tīmeklī
Google tendences
Google Trends parāda vizuālu statistiku par to, cik bieži Google tīklā laika gaitā ir meklēti atslēgvārdi. Google tendences arī parāda, cik bieži tēmas ir parādītas Google ziņu stāstos un kuros ģeogrāfiskajos reģionos cilvēki tās ir meklējuši visvairāk.

Google gripas tendences
Pakalpojumā Google gripas tendences tiek izmantoti apkopoti Google meklēšanas dati, lai novērtētu gripas aktivitāti. Dati ir pieejami arī lejupielādei.

Observatorija
Observatorium projekts koncentrējas uz sarežģītu tīkla dinamiku internetā, piedāvājot uzraudzīt tā attīstību reāllaikā ar vispārējo mērķi labāk izprast zināšanu ģenerēšanas procesus un viedokļu dinamiku.

Mēs jūtamies labi
Vairāku miljonu cilvēku jūtu datubāze, kas iegūta no emuāriem un sociālajām lapām tīmeklī. Izmantojot virkni rotaļīgu saskarņu, sajūtas var meklēt un kārtot vairākās demogrāfiskajās daļās. Pieejama arī tīmekļa api.

CyberEmotions
Projekts CyberEmotions koncentrējas uz kolektīvo emociju lomu kopienu veidošanā, veidošanā un izjaukšanā. Tas padara pieejamas lejupielādei trīs datu kopas, kurās ir ziņas un komentāri no BBC News foruma, Digg un MySpace, tikai akadēmiskiem pētījumiem un tikai pēc pieteikuma veidlapas iesniegšanas.

Sociālo datu koplietošana
Saistītie dati
Saistītie dati ir par tīmekļa izmantošanu, lai savienotu saistītus datus, kas iepriekš nebija saistīti, vai tīmekļa izmantošanu, lai samazinātu šķēršļus pašlaik saistīto datu saistīšanai, izmantojot citas metodes.

Dataverse tīkla projekts
Dataverse tīkls ir lietojumprogramma, lai publicētu, kopīgotu, atsauktos, iegūtu un analizētu pētījumu datus. Tas atvieglo datu pieejamību citiem un ļauj atkārtot citu darbu. Pētnieki un datu autori saņem kredītu, izdevēji un izplatītāji saņem kredītu, saistītās iestādes saņem kredītu.

Dati360
Data360 ir atvērtā koda, sadarbības un bezmaksas vietne. Vietne mitina kopēju un kopīgu datu bāzi, kuru jebkura persona vai organizācija, kas ir apņēmusies ievērot neitralitāti un bezpartejisku attieksmi (tas nozīmē, ļaujiet datiem runāt), var izmantot prezentācijām un vizualizācijām.

Grozāmais
Swivel ir vietne, kurā cilvēki kopīgo diagrammu un skaitļu pārskatus. Publiskajiem datiem tas ir bezmaksas, un cilvēkiem, kuri vēlas tos izmantot privāti, tiek iekasēta ikmēneša maksa.

Daudzas Acis
IBM iniciatīva, kas ļauj lietotājiem augšupielādēt savas datu kopas un izmantot rīku kolekciju, lai iegūtu no tām jēgpilnas vizualizācijas. Katra vizualizācija tiek publiski saglabāta īpašā lapā, kur lietotāji var to komentēt, novērtēt un atzīmēt. Datu atkārtota izmantošana ir iespējama un ieteicama.

Konfliktu dati
CSCW dati par bruņotiem konfliktiem
CSCW un Upsalas konfliktu datu programma (UCDP) Upsalas Universitātes Miera un konfliktu izpētes departamentā ir sadarbojušās, veidojot datu kopu par gan iekšējiem, gan ārējiem bruņotiem konfliktiem laika posmā no 1946. gada līdz mūsdienām. Pašlaik, iespējams, visplašākā pieejamā datu kopu krātuve, jo īpaši vēsturiskajiem datiem.

WarViews
WarViews projekta mērķis ir izveidot viegli lietojamu priekšgalu ĢIS datu izpētei par konfliktiem. To var palaist tīmekļa pārlūkprogrammā vai to var parādīt, izmantojot Google Earth.

Tālāk ir norādītas pilsoņu kara specifiskas datu kopas ar papildu empīrisku informāciju.
Etnisko grupu atrašanās vietas datu kopa
Etniskā spēka līdzsvara datu kopa
Atjaunināto datu kopu un kodu grāmatu kolekcija no Upsalas konfliktu datu programmas (UCDP) .

ACLED
Daļēji iekļauta PRIO datu kopā, ACLED (bruņotu konfliktu atrašanās vietu un notikumu datu kopa) ir paredzēta dezagregētai konfliktu analīzei un krīžu kartēšanai. Šī datu kopa kodē visu ziņoto konfliktu notikumu atrašanās vietu 50 jaunattīstības pasaules valstīs. Pašlaik dati tiek kodēti no 1997. līdz 2009. gadam, un projekts turpina datēt Āfrikas valstu konfliktu informāciju līdz neatkarības gadam.

CERAC
Konfliktu analīzes resursu centrā ir vairākas starpvalstu konfliktu datu kopas un dažas konkrētu valstu datu kopas. Repozitorijās ir arī politiskās nestabilitātes un konfliktu datu kopas.

Starpvalstu laikrindu datu arhīvs
Starpvalstu laikrindu datu arhīvs sniedz ikgadējus datus par dažādām valstīm no 1815. gada līdz mūsdienām. Kā norāda Roberts Beitss no Hārvardas universitātes, tā ir viena no vadošajām politiskās vardarbības datu kopām. Tā, iespējams, ir visplašāk izmantotā notikumu datu kopa, saskaņā ar Henriku Urdālu, Starptautiskais miera pētniecības institūts, Oslo (PRIO).

Valstij specifiski repozitoriji: Irāka , Afganistāna
Terora aktu datu kopu vākšana .

Dati ekonomikā un finansēs
Blumbergs
Starptautisks reāllaika datu nodrošinātājs lēmumu pieņēmējiem finanšu, biznesa un valdības jomā.

Maddisona dati
Vēsturiskā statistika par IKP un iedzīvotāju datiem.

UNCTAD statistika
UNCTAD statistikas rokasgrāmata tiešsaistē sniedz ekonomisko datu un attīstības rādītāju laikrindas, dažos gadījumos sākot ar 1950. gadu; Preču cenu statistikas tiešsaistes datu bāze; UNCTAD-TRAINS internetā (Tirdzniecības analīzes un informācijas sistēma) tirdzniecības kontroles pasākumiem, kā arī importa plūsmām pēc izcelsmes vairāk nekā 130 valstīs; ārvalstu tiešo investīciju datubāze (ĀTI).

ESAO statistikas portāls
Liela datu kopu kolekcija, kas aptver ekonomiku un demogrāfiskos datus. Izvilkumi ir brīvi pieejami, pilnīgai piekļuvei ir nepieciešams abonements.

EUROSTAT
Detalizēta statistika par ES un kandidātvalstīm un dažādi statistikas izdevumi pārdošanā.

Kur ir Džordžs?
Telpiskā izsekošanas sistēma ASV un Kanādas dolāriem.

Eurobilltracker
Telpiskā izsekošanas sistēma eiro banknotēm.

Zinātniskās sadarbības dati
ISI zināšanu tīkls
Visaptverošs informācijas avots zinātnēs, sociālajās zinātnēs, mākslā un humanitārajās zinātnēs. Tas ietver vairākas datu kopas, no kurām, iespējams, visievērojamākās ir šādas:
Žurnāla citātu ziņojumi. Tas ļauj novērtēt un salīdzināt žurnālus, izmantojot citātu datus, kas iegūti no vairāk nekā 7500 zinātniskiem un tehniskiem žurnāliem;
Web of Science. Tas sastāv no septiņām datu bāzēm, kurās ir informācija, kas iegūta no tūkstošiem zinātnisku žurnālu, grāmatu, grāmatu sērijām, ziņojumiem, konferencēm un daudz ko citu.

Google Scholar
Google Scholar ir meklētājprogramma, kas specializējas zinātniskajā literatūrā. Tas indeksē dažādus avotus (rakstus, grāmatas, kopsavilkumus, disertācijas utt.) no vairākām disciplīnām un sakārto tos pēc citātu skaita, autora un žurnāla ietekmes faktora.

Scholarometer
Scholarometer ir sociāls rīks, kas atvieglo citātu analīzi un palīdz novērtēt autora publikāciju ietekmi. Tas darbojas kā programmatūras spraudnis pārlūkprogrammai Firefox.

Scopus
Scopus ir ļoti liela pētnieciskās literatūras abstraktu un citātu datubāze. Tas ir pieejams tikai reģistrētiem lietotājiem.

Dzīvā zinātne
Living Science ir reāllaika globāla zinātnes observatorija, kuras pamatā ir publikācijas, kas iesniegtas vietnē arXiv.org. Tas aptver reāllaika (ikdienas) publikāciju iesniegšanu tādās dažādās jomās kā fizika, astronomija, datorzinātne, matemātika un kvantitatīvā bioloģija. Pašlaik saturs tiek dinamiski atjaunināts katru dienu. Dzīvā zinātne ir spēcīgs analīzes rīks, lai noteiktu zinātniskā darba apjomu un ietekmi visā pasaulē.

Sociālās zinātnes
Mičiganas Universitātes ICPSR
ICPSR piedāvā vairāk nekā 500 000 digitālu failu, kas satur sociālo zinātņu pētījumu datus. Pārstāvētās disciplīnas ir politikas zinātne, socioloģija, demogrāfija, ekonomika, vēsture, gerontoloģija, krimināltiesības, sabiedrības veselība, ārpolitika, terorisms, veselība un medicīniskā aprūpe, agrīna izglītība, izglītība, rasu un etniskās minoritātes, psiholoģija, tiesību zinātne, vielu lietošana un garīgā aprūpe veselību un daudz ko citu.

Apvienotās Karalistes Eseksas Universitātes datu centrs
Apvienotās Karalistes lielākā digitālo pētījumu datu kolekcija sociālajās un humanitārajās zinātnēs.

Bērklija UC DATU arhīvs
UC DATA datu krājumi galvenokārt ir politikas, sociālo un veselības zinātņu jomās.

Ekonomikas un sociālo datu dienests (ESDS)
Ekonomisko un sociālo datu dienests (ESDS) ir valsts datu pakalpojums, kas nodrošina piekļuvi un atbalstu plašam galveno ekonomikas un sociālo datu klāstam, gan kvantitatīviem, gan kvalitatīviem, aptverot daudzas disciplīnas un tēmas. Tajā ir vairāku Eiropas valstu papildu datu kopu karte.

CESSDA
Plašas datu kolekcijas, tostarp socioloģiskās aptaujas, vēlēšanu pētījumi, longitudinālie pētījumi, sabiedriskās domas aptaujas un tautas skaitīšanas dati. Materiālu vidū ir starptautiski un Eiropas dati, piemēram, Eiropas Sociālais apsekojums, Eirobarometri un Starptautiskā sociālo apsekojumu programma.

Gapminder dati
Gapminder ir populāra tehnoloģija un tīmekļa lietojumprogramma datu laikrindu tendenču savstarpējai vizualizācijai. Tas arī atver vairāku datu kopu arhīvu par dažādiem sociālekonomiskajiem rādītājiem.

Pasaules vērtību pētījums
Pasaules vērtību pētījums sniedz datus par vērtībām un kultūras izmaiņām sabiedrībās visā pasaulē.

Pilsētas dati
Globālās pilsētu observatorijas datu bāze
Global Urban Observatory (GUO) piedāvā uz politiku orientētus pilsētu rādītājus, statistiku un citu pilsētu informāciju.

Pilsētas observatorija
ASV datu kopas par bagātību, inovācijām un noziedzību dažādās pilsētās.

Satiksmes dati
vadītāja apliecība
Nākamās paaudzes simulācijas (NGSIM) programmu ierosināja Amerikas Savienoto Valstu Transporta departaments (ASV DOT). Programma izstrādāja atvērto uzvedības algoritmu kodolu, lai atbalstītu satiksmes simulāciju, un apkopoja augstas kvalitātes primāros trases un trajektorijas datus, kas paredzēti, lai atbalstītu jauno algoritmu izpēti un testēšanu.

Šveices federālais ceļu birojs FEDRO
Šveices Federālais ceļu birojs piedāvā visaptverošu pārskatu par satiksmes plūsmām Šveicē. Datus apkopo pastāvīgas automātiskās satiksmes uzskaites stacijas un papildina regulāra manuāla pārbaude kopš 1961. gada.

TrafficData
Starptautiskās satiksmes datu bāzes (ITDb) projekta mērķis ir nodrošināt trafika datus dažādām grupām (pētniekiem, praktiķiem, publiskām personām) to īpašajām vajadzībām atbilstošā formātā, sākot no neapstrādātiem mērījumu datiem līdz statistiskai analīzei. ITDb veicina elastīgu trafika datu sniegšanas formātu, kas balstīts uz lietotāju vajadzībām un standarta paradumiem.

Transporta datu klīringa centrs
Transporta datu klīringa centrs Vācijas Aviācijas un kosmosa centrā ir pirmais kontaktpunkts, lai ātri apskatītu pieejamos datus. Tā ir paredzēta gan organizācijām, kas apkopo ar transportu saistītus datus, gan tiem, kas vēlas izmantot šādu pētījumu rezultātus. Piedāvātā informācija ietver detalizētu metadatu sagatavošanu par datu kopām, kā arī piezīmes par iespējamiem lietojumiem un avotiem.

Turklāt Regiolab Delft
Regiolab-delft iniciatīva aizsākās tieši pēc 2000. gada kā kopīgs projekts, ko vadīja TU Delft sadarbībā ar Delftas pašvaldību, TRAIL pētniecības skolu, Dienvidholandes provinci, Transporta ministriju un vairākiem industriālajiem partneriem. Arhivēto datu kopu vairāk nekā 6 gadus veido 1 minūtes vidējā ātruma un apkopotie plūsmas dati no blīvi izvietotām induktīvām cilpām automaģistrāļu tīklā Dienvidholandes provincē, kā arī citi dati no krustojumu kontrolieriem, numura zīmju noteikšanas kamerām un daudz ko citu.

RITA
ASV Transporta departamenta Pētniecības un novatorisko tehnoloģiju administrācija (RITA) piedāvā vairākas datu kopas par jūras, kravu, aviokompāniju, pasažieru utt. satiksmes statistiku.

ETH ceļojumu datu arhīvs (ETHTDA)
ETH ceļojumu datu arhīvs (ETHTDA) ir virtuāla platforma, kas lietotājiem ļauj pārlūkot arhivētos ceļojumu datus tīmeklī un nodrošina vienkāršu statistisko analīzi.

Metropolitan Travel Survey arhīvs
Metropolitēna ceļojumu aptauju arhīvs, lai glabātu, saglabātu un padarītu publiski pieejamus, izmantojot internetu, lielpilsētu apgabalu, štatu un apgabalu veiktās ceļojumu aptaujas.

Infoblu
Infoblu ir privāts uzņēmums, kas sniedz reāllaika satiksmes uzraudzības pakalpojumus Itālijai. Visi pakalpojumi ir pieejami par maksu.

Atvērt kartes
Google kartes
Pasaulē slavens karšu pakalpojums. Tas piedāvā vairākus papildu pakalpojumus, piemēram: Ielas attēlu, lietotāju augšupielādētu saturu (fotoattēlus, komentārus un vērtējumus) un personalizētus pārklājumus, izmantojot pakalpojumu API.

OpenStreetMap
OpenStreetMap (izgatavoja UCL) ir bezmaksas rediģējama visas pasaules karte. OpenStreetMap ļauj skatīt, rediģēt un izmantot ģeogrāfiskos datus sadarbības veidā no jebkuras vietas uz Zemes.

Tracksource Brazīlija
Tracksource ir sadarbības projekts, kura mērķis ir izveidot un izplatīt bezmaksas Brazīlijas kartes.

Loģistikas dati
Nacionālais mājsaimniecību ceļojumu apsekojums
Nacionālais mājsaimniecību ceļojumu apsekojums (NHTS) apkopo datus gan par Amerikas sabiedrības tālsatiksmes, gan vietējiem ceļojumiem. Kopīgajā aptaujā tiek apkopoti ar ceļojumu saistīti dati, piemēram, pārvietošanās veids, ilgums, attālums un ceļojuma mērķis. Tas arī apkopo demogrāfiskos, ģeogrāfiskos un ekonomiskos datus analīzes nolūkos. Tā ir daļa no RITA.

Preču plūsmas apsekojums
Preču plūsmas apsekojums (CFS) ir galvenais valsts un valsts līmeņa datu avots par iekšzemes kravu sūtījumiem, ko veic Amerikas uzņēmumi kalnrūpniecībā, ražošanā, vairumtirdzniecībā, palīguzņēmumos un atsevišķās mazumtirdzniecības nozarēs. Tiek sniegti dati par nosūtīto preču veidiem, izcelsmi un galamērķiem, vērtībām, svaru, transporta veidiem, nosūtīto attālumu un tonnjūdzēm. Tā ir daļa no RITA un tiek veikta reizi piecos gados (pēdējā paraugu ņemšana 2007. gadā).

Klimata dati
Julich
Klimata dati no Julich Research Center.

Google.org
Google iepazīstina ar saviem uz datiem balstītiem filantropiskiem projektiem, tostarp diviem vides satelītnovērošanas centriem:
Zemes dzinējs: pasaules mežu izciršanas tendenču uzraudzībai;
reaģēšana uz krīzi: lai uzraudzītu naftas noplūdi no nogrimušās platformas Deep Horizon.

Realitātes ieguve
Realitātes ieguve
Uzvedības dati, kas savākti no 100 mobilajiem tālruņiem 9 mēnešu laikā. Ietver gan tuvuma, gan tālruņa lietošanas statistiku. Pieejamas divas anonimizētas datu kopas: viena lietotāja (MySQL) un globālā (Matlab).

Citas atvērto datu iniciatīvas
Data.gov
Pētījumiem pieejama plaša ASV publisko datu kopu kolekcija.

Data.gov.uk
Pētījumiem pieejama plaša Apvienotās Karalistes publisko datu kopu kolekcija.

Rakšanās datos
To ir izveidojis Nacionālais zinātnes fonds (NSF), un tā piedāvā dažādu datu krātuvju kolekciju.

Aizbildņu datu emuārs
Datu žurnālistikas iniciatīva, kas publicē sabiedrību interesējošas (galvenokārt Apvienotās Karalistes) datu kopas kopā ar to analīzi. Ir arī dažas sadarbības ar datu vizualizācijas māksliniekiem.

Google publiskie dati
Google piedāvā vairākas lielas datu kopas par dažādiem pasaules sociālekonomiskajiem rādītājiem un nodrošina rīkus ērtai vizualizācijai.

Atsauce: arxiv.org/abs/1012.0178 : no sociālo datu ieguves līdz sociāli ekonomisko krīžu prognozēšanai

paslēpties