Datu zinātne un statistika: iespējas un izaicinājumi

nodrošina MIT profesionālā izglītība

Mēs tagad dzīvojam pasaulē, kurā šķiet, ka viss par mums ir (vai drīz tiks) izsekots un reģistrēts: tas, ko mēs ēdam, ko mēs skatāmies, kā mēs socializējamies, kas mums patīk un kas nepatīk, mūsu vitāli svarīgā veselības statistika un saraksts. turpinās.

Šāda bezprecedenta piekļuve personas datiem paver potenciāli milzīgas iespējas, piemēram, palīdzēt valsts amatpersonām pieņemt labākus politiskos lēmumus, ļaut uzņēmumiem darboties efektīvāk un izdevīgāk, racionalizēt publisko resursu izmantošanu, atbalstīt personalizētāku veselības aprūpi un zāļu izstrādi un citādi uzlabot. vispārējo dzīves kvalitāti mūsu sabiedrībā. Šo iespēju izmantošanas atslēga ir mūsu spēja pārvērst pieejamos datus nozīmīgos lēmumos.

Datu zinātne un statistika: iespējas un izaicinājumi

• Šis jaunais 6 nedēļu tiešsaistes kurss sākas 4. oktobrī.

  Reģistrējies šodien!

Gaidāmais sešu nedēļu tiešsaistes MIT profesionālās izglītības kurss, Datu zinātne: dati uz ieskatu , kas tiek piedāvāts sadarbībā ar MIT datu, sistēmu un sabiedrības institūtu ( IDSS ), koncentrēsies uz analīzi. Taču tajā tiks risinātas arī tādas problēmas kā jaunākās tendences mašīnmācībā: kā iegūt jēgpilnu ieskatu un preferences no klientu datiem kopumā un kā uzdot pareizos jautājumus, lai pieņemtu labākus biznesa lēmumus.

Izaicinājums

Dažu pēdējo desmitgažu laikā esam izveidojuši infrastruktūru, kas var uzglabāt un apstrādāt milzīgus datu apjomus. Tomēr mums joprojām trūkst kritiskās spējas nemanāmi apvienot dažādus datu gabalus, lai veiktu jēgpilnas prognozes, kuru rezultātā tiek pieņemti spēcīgi lēmumi. Ņemot vērā bezgalīgās iespējas, kuras var atvērt, novēršot šo trūkumu, es uzskatu, ka tas ir viens no mūsu laika nozīmīgākajiem izaicinājumiem.

Izglītības iestādēm var būt vadošā loma šī svarīgā izaicinājuma risināšanā. MIT, IDSS un tās jaunais Statistikas un datu zinātnes centrs ( SDSC ) palīdzēs risināt problēmas, kas saistītas ar datu pārvēršanu reālos lēmumos, izmantojot divvirzienu pieeju:

1. Mūsu studentu izglītošana prast strādāt ar lielu datu apjomu un izmantot rīkus, lai no tiem iegūtu jēgpilnu informāciju. Citiem vārdiem sakot, mums ir jāizglīto studenti visās disciplīnās, lai tie būtu gan datu zinātnieki un statistiķi. Tas prasa, lai iestādes izstrādātu racionalizētu, starpdisciplināru izglītības programmu, kas ietver elementus no inženierzinātnēm, matemātikas zinātnēm un sociālajām zinātnēm.
2. Pētniecības programmas izstrāde kas galu galā rada statistikas datu apstrādes sistēmu, ko var viegli izmantot visu veidu precīzu prognožu veikšanai. Šādai sistēmai ir jādarbojas ar neviendabīgiem datu avotiem, jādarbojas plašā mērogā un jārada prognozes, kuras var efektīvi interpretēt. Šī vērienīgā programma varētu palīdzēt mobilizēt starpdisciplinārus un aizraujošus intelektuālos centienus datu zinātnē un statistikā nākamajai desmitgadei vai vēlāk.

Domājot par lēmumiem

Apskatīsim, kā tiek pieņemti lēmumi. Tipiskā organizācijā pamata darbības uzdevumi ir atkarīgi no lēmumiem par to, kā ieguldīt pieejamos resursus starp dažādām konkurējošām iespējām, ņemot vērā vienu vai vairākus mērķus.

Piemēram, ASV valdība pieņem šādus lēmumus, izstrādājot savu budžetu. Tirdzniecības uzņēmums iegulda naudu dažādos finanšu instrumentos, lai izveidotu portfeļus ar augstu atdevi un, iespējams, labi saprotamiem riskiem. Mazumtirdzniecības organizācija pieņem lēmumus par to, kuru preču pirkumi radīs lielus ieņēmumus un peļņu. Mājsaimniecība pieņem lēmumus par to, kā gūt maksimālu labumu no ģimenes ienākumiem. Racionāls indivīds pieņem lēmumus par to, ko ēst (un ko nē ēst), lai iegūtu pietiekami daudz enerģijas un saglabātu veselību.

Visi šādi lēmumi īsumā ir saistīti ar prognozēšanu un pēc tam noteiktu optimizācijas darbību veikšanu, izmantojot šīs prognozes.

Kā tas darbojas: mazumtirdzniecības piemērs

Tagad aplūkosim konkrētu piemēru, kas saistīts ar apģērbu mazumtirgotāju. Mazumtirgotāja galvenā darbības problēma ir izdomāt, kurus produktus demonstrēt klientiem, ņemot vērā dažādus darbības ierobežojumus, piemēram, krājumu iegādes budžetu, veikalu plauktu ierobežojumus un piegādātāju grafikus. Jautājums par produktu izvēli, kurus demonstrēt, rodas dažādos laikos, pieņemot dažādus lēmumus, piemēram, izlemjot, kurus produktus iegādāties visā veikalu ķēdē, kurus nosūtīt uz dažādām vietām no izplatīšanas centriem, kuriem produktiem piešķirt atlaidi, kurus reklamēt, izmantojot e-pastu un ko rādīt klientiem, kad viņi apmeklē veikalus vai e-komercijas vietnes.

Visi šie jautājumi būtībā prasa izpratni par to, kas cilvēkiem patīk un kas nepatīk. Dažas esošās sistēmas sniedz šādu ieskatu un, piemēram, var norādīt, ka zilie krekli ir populāri, bet sarkanie šorti vairs netiek pārdoti. Bet kā pārvērst šos ieskatus darbībā?

Uz datiem balstīta lēmumu pieņemšana

Konceptuāli, lai pieņemtu lēmumus, kas balstīti uz datiem, lēmumu mainīgie un opcijas ir jāsaista ar datiem un pēc tam jāatrisina optimizācijas problēma ar dažādiem mērķiem. Darbības ziņā tas prasa izveidot datu apstrādes sistēmu, kas varētu būt ļoti liela un kurai varētu būt nepieciešams darboties reāllaikā ar trim augsta līmeņa komponentiem: saskarnēm, infrastruktūru un algoritmiem.

Saskarnes. Tie nodrošina veidus, kā piegādāt informāciju gala klientiem un sensorus informācijas vākšanai. Piemēram, tīmekļa (pārlūka) saskarnes vai mobilās lietojumprogrammas ļauj apkopot informāciju par tiešsaistes klientu darbībām. Līdzīgi šādas saskarnes var palīdzēt lēmumu pieņēmējam mazumtirdzniecības organizācijā mijiedarboties ar datiem un ieskatiem, kā arī iegūt lēmumu atbalstu. Šādu saskarņu standartizācija pēdējo desmit gadu laikā ir ļāvusi ieviest milzīgus jauninājumus šajā jomā.

Infrastruktūra. Infrastruktūras uzdevums ir nodrošināt līdzekli liela apjoma datu nemanāmai glabāšanai un apstrādei. Nepieciešamība pēc šādas infrastruktūras dabiski radās 90. gadu beigās, kad interneta laikmets uztvēra tvaiku. Nav pārsteigums, ka tīmekļa meklēšanas uzņēmumi ir ieviesuši pamata inovācijas. Interesanti, ka tīmekļa meklēšana, šķietami vienkārša funkcija, ir novedusi pie vispārējas mērogojamas krātuves un skaitļošanas infrastruktūras izstrādes. Tas, savukārt, ir bijis galvenais iemesls nesenajiem aizraujošajiem jauninājumiem mērogojamā aprēķināšanā un datu apstrādē.

Algoritmi. Datu apstrādes algoritmi pārveido savāktos neapstrādātos datus vērtīgos ieskatos un lēmumos. Šo datu savienošanai ar lēmumu mainīgajiem tiek izmantoti atbilstoši modeļi. Piemēram, ja cilvēki ģenerē neapstrādātus datus, var būt lietderīgi izmantot uzvedības modeli, lai šos novērotos datus savienotu ar lēmumu mainīgajiem. Iegūtie algoritmi izmanto aprēķinu un uzglabāšanas infrastruktūru, pamatojoties uz datiem, kas iegūti, izmantojot saskarni, un rada gala rezultātus, ko var piegādāt gala lietotājam, izmantojot saskarni.

Tomēr liels izaicinājums ir nodrošināt datu apstrādes algoritmu izstrādi visi. Atšķirībā no standartizētu saskarņu vai vispārējas skaitļošanas un uzglabāšanas arhitektūras pieejamības, mums ir tālu no vispārējas, datu apstrādes, algoritmiskas arhitektūras.

Apskatīsim iepriekš minēto mazumtirdzniecības piemēru. Konkrēti apsveriet lēmumu par to, kurus produktus rādīt klientiem, kad viņi apmeklē e-komercijas vietni, proti, kā mēs personalizēt katra klienta pieredze? Protams, tas ir atkarīgs no datiem par konkrēto klientu, kā arī par citiem savāktajiem datiem.

Šie dati tiek apkopoti, izmantojot klienta pārlūkošanas vēsturi un klikšķus e-komercijas vietnē, iepriekšējos pirkumus un citas tiešsaistes darbības, kas iegūtas, izmantojot mūsu tīmekļa un mobilās saskarnes. Visticamāk, tas tiek glabāts uzglabāšanas infrastruktūrā. Tas tiek pārveidots reāllaika, personalizētos lēmumos, izmantojot potenciāli sarežģītus datu apstrādes algoritmus, kas izmanto sociālo zinātņu uzvedības modeļus, kā arī matemātiskās statistikas un mašīnmācības metodes. Datu apstrādes algoritmi izmanto skaitļošanas infrastruktūru, lai varētu pieņemt šādus lēmumus reāllaikā. Tādā veidā personalizēti lēmumi tiek piegādāti klientam, izmantojot saskarni.

Šāda veida personalizācijas vai ieteikumu sistēmas izveides atslēga ir piekļuve prasmīgai datu zinātnieku un statistiķu komandai, kas var noteikt piemērotas statistikas metodes un uzvedības modeļus, lai izstrādātu datu apstrādes algoritmus. Pēc tam viņi var izstrādāt cilvēkiem draudzīgas saskarnes, kas var savākt noderīgus datus un pēc tam pieņemt lēmumus. Lai gan tas ir dārgs pasākums, daži no lielākajiem mazumtirgotājiem jau ir izvēlējušies šo ceļu.

No otras puses, personalizācijas/ieteikumu sistēmai ir noteiktas funkcijas, kas dažādās organizācijās izpaužas ļoti līdzīgā veidā. Šī līdzība ir ļāvusi izstrādāt vispārīgas ieteikumu sistēmas. Tāpēc daudzi mazumtirgotāji šādas sistēmas iegādājas no ārējiem pārdevējiem, kuri vienkārši pievieno personalizācijas sistēmu, izmantojot saskarnes.

Cilpas aizvēršana

Kā minēts iepriekš, viens no galvenajiem izaicinājumiem ir pāreja no datiem līdz lēmumiem. Mums jau ir daudz datu — un mums ir laba infrastruktūra to glabāšanai un apstrādei —, taču mums tas ir jāizdomā kā apstrādāt to. Diskusija par personalizācijas/ieteikumu sistēmu precīzi izskaidro divas pieejas, kuras mēs varam izmantot vienlaikus, lai risinātu šo izaicinājumu.

Pirmkārt, mums ir jāļauj organizācijām izveidot savu kvalificētu datu zinātnieku komandu. Otrkārt, mums ir jāizstrādā vispārēja datu apstrādes algoritmiskā arhitektūra. Konkrēti, šai datu apstrādes arhitektūrai ir jākoncentrējas uz vispārējas prognozēšanas sistēmas izstrādi. Tas ir tāpēc, ka lēmumu pieņemšanas sistēmai pamatā ir divas sastāvdaļas: nezināmo prognozēšana un prognožu izmantošana optimizācijas veikšanai. Pēdējo desmitgažu laikā ir panākts ievērojams progress optimizācijas teorijas un prakses attīstībā. Tomēr mēs joprojām nevaram definēt, kas ir vispārīgā un universālā prognozēšanas problēma.

IDSS, SDSC un datu zinātne

MIT uzsāka IDSS, lai risinātu sabiedrības jautājumus, kas radīsies nākamajā gadsimtā. Lai gan daudzas no šīm problēmām ir saistītas ar vairākām disciplīnām, tās visas ir saistītas ar vienu kopīgu izaicinājumu: uz datiem balstītiem lēmumiem. Lai izstrādātu izglītības programmu un nodrošinātu datu zinātnes un statistikas pētniecību IDSS, MIT izveidoja SDSC IDSS paspārnē.

Mēs palīdzēsim risināt problēmas, kas saistītas ar datu pārveidošanu lēmumos, iespējot divas pieejas, kuras esmu aprakstījis gan SDSC, gan IDSS. Konkrēti, SDSC izglītos sarežģītus datu zinātniekus un statistiķus, izmantojot starpdisciplināras izglītības programmas. IDSS nodrošinās starpdisciplināru pētniecības vidi, kas ļaus tās dalībniekiem veikt vērienīgas pētniecības programmas statistikas un datu zinātnes jomā.

Tikmēr mūsu jaunais sešu nedēļu tiešsaistes kurss, Datu zinātne: dati uz ieskatu , kas sāksies 4. oktobrī, dalīsies ar jaunāko informāciju par veidiem, kā piemērot datu zinātnes metodes, lai efektīvāk risinātu savas organizācijas daudzās problēmas. Lai uzzinātu vairāk par to, kā izveidot uzņēmuma datu analīzes nākotni, lūdzu, apmeklējiet vietni kursu reģistrācijas lapa .

Pateicības: Autors pateicas Munteram Dālam un Filipam Rigolē par atsauksmēm par šī raksta iepriekšējo versiju, kā arī Stefanijai Koperņakai un Mirjamai Džozefam par tā korektūru un rediģēšanu.

Devavrats Šahs, kursa Data Science: Data to Insights līdzdirektors, ir MIT Elektrotehnikas un datorzinātņu katedras profesors, SDSC direktors un IDSS galvenās fakultātes loceklis. Viņš ir arī MIT Informācijas un lēmumu sistēmu laboratorijas (LIDS) un Operāciju izpētes centra (ORC) loceklis.

paslēpties