211service.com
Twitter datu zinātnieks izmanto visu McDonald’s ēdienkarti, izdzīvo
Edvīns Čens ir Twitter datu zinātnieks, kurš vēlas dalīties ar savas tumšās mākslas noslēpumainajiem noslēpumiem, kas ir labi, ņemot vērā, ka, iespējams, visstraujāk augošā joma ASV
Mmmm, datu zinātne. (cc Evans Blazers )
(Zemāk es esmu iekļāvis visu e-pasta interviju, ko veicu ar Čenu un kuru jūs, iespējams, vēlēsities izlaist, ja meklējat vispārīgu pārskatu par viņa darbu. Viņš, cita starpā, atklāj, ka ir apsvēris iespēju izmantot Twitter. dati, lai noskaidrotu, vai cilvēki ēd ātrās uzkodas, kad viņiem ir skumji.)
Datu zinātne ir tik jauna, ka par šo tēmu nav mācību grāmatu un universitāšu mācību programmas, kas izstrādātas, lai kļūtu par datu zinātniekiem. Tomēr tā ir neatņemama sastāvdaļa, sākot no kvantitatīvās tirdzniecības Volstrītā līdz reklāmu mērķauditorijas atlasei tīmeklī un reālo piegādes ķēžu optimizācijai.
Pirms viņš ieguva terabaitus tvītu, lai gūtu ieskatu, ko varētu pārvērst interaktīvās vizualizācijās, Čens pilnveidoja savas prasmes, studējot valodniecību un tīro matemātiku MIT. Tas parasti ir netipiski datu zinātniekam, kuram ir pieredze matemātiski stingrās disciplīnās neatkarīgi no tā. (Piemēram, vietnē Twitter visiem datu zinātniekiem ir jābūt vismaz maģistra grādam saistītā jomā .)
Šis ir viens no dīvainākajiem datu zinātnes daudzpusības piemēriem no paša Čena emuāra. Ziņā ar uzmundrinošu nosaukumu Bezgalīgu maisījumu modeļi ar neparametriskiem līčiem un Dirihleta procesu , Čens iedziļinās klasteru veidošanas problēmā. Tas ir, kā iegūt datu masu un sakārtot tos saistīto vienumu grupās? Tā ir grūta problēma — cik grupām vajadzētu būt? pēc kādiem kritērijiem tos šķirot? – un sīkāka informācija par to, kā viņš to risina, ir ārpus tiem, kuriem nav pieredzes šāda veida analīzē.
Pārējiem mums Čens sniedz konkrētu un pieejamu piemēru: McDonald’s
Iemetot visu McDonald’s ēdienkarti savā matemātiskajā šķirošanas kastē, Čens atklāj, piemēram, ka ne visas McDonald’s mērces tiek radītas vienādas. Hot Sinep un Spicy Buffalo neietilpst vienā klasterī ar Creamy Ranch, kam ir vairāk kopīga ar McDonald’s ledus kafiju ar vaniļas sīrupu bez cukura, nekā ar Newman's Own Balsamic Vinaigrette ar zemu tauku saturu.
Parādās citas kopas, tostarp visas burgeru preces, brokastu ēdieni un cukura dzērieni. Pagaidām tas nav tik pārsteidzoši, kamēr McDonald’s izvēlnē nokļūstat klasterī, kurā ir tikai viens vienums.
Kas ir tik īpašs McDonald’s Fruit & Maple Oatmeal? Iespējams, tas ir tā šķiedrvielu saturs, salīdzinoši (es uzsveru salīdzinoši) augsts uzturvielu līmenis un zemāks cukura, transtaukskābju un holesterīna līmenis.
Citiem vārdiem sakot, kad kāds no Twitter jaunākajiem datu zinātniekiem izmanto savu darbu McDonald’s ēdienkartē, viņa algoritms automātiski izvelk tajā vienīgo ēdienu, ko ikvienam no mums, iespējams, pat vajadzētu apsvērt. Auzu pārslas: restorānā McDonald’s tās patiešām ir savā klasē.
Šeit ir pilna intervija ar Čenu:
1. Cik ilgi jūs esat bijis datu zinātnieks vietnē Twitter?
Esmu bijis Twitter apmēram četrus mēnešus.
2. Ko dara Twitter datu zinātnieks?
Mēs strādājam pie visa, sākot no mašīnmācīšanās modeļu izveides un mūsu lielapjoma datu apstrādes ietvaru uzlabošanas, līdz datu vizualizāciju izveidei, statistiskās analīzes veikšanai un labāku veidu atrašanai, kā izprast mūsu lietotājus un Twitter diagrammu. Ir daudz dažādu, un tas tiešām ir atkarīgs no katra cilvēka prasmēm un interesēm.
Piemēram, es jebkurā brīdī, visticamāk, eksperimentēšu ar jauniem reklāmu mērķauditorijas atlases algoritmiem, rakstīšu MapReduce darbus, lai iegūtu terabaitus tvītu (izmantojot Scalding, mūsu iekšējo valodu MapReduce), veidošu interaktīvas vizualizācijas, lai gūtu ieskatu visās apkopotie dati, ziņojuma rakstīšana, lai izskaidrotu dažus jaunus atklājumus, eksperimenta veikšana ar Mechanical Turk un daudz ko citu.
3. Vai jūsu pēdējo ziņu (par klasteru veidošanu) iedvesmoja kaut kas, pie kā strādājat pakalpojumā Twitter (ko varat apspriest)?
Esmu strādājis, lai apkopotu mūsu lietotājus un reklāmdevējus, tekstā automātiski izsecinot tēmu kategorijas un domājot par to, ko mēs varam mācīties no ēdiena Twitter (piemēram, vai vīrieši un sievietes vai sanfranciskāņi un ņujorkieši atšķiras ko viņi ēd? vai pastāv kāda saistība starp to, ko cilvēki ēd, un to, ko viņi tvītoja, piemēram, vai cilvēki biežāk ēd nevēlamu pārtiku, kad viņiem ir skumji?). Tātad, lai gan ieraksts nebija tieši iedvesmots no tā, pie kā es strādāju vietnē Twitter, tas noteikti ir saistīts.
4. Datu zinātne tagad ir lieta, bet (man ir teikts) šī joma ir tik jauna, ka nav tai specifisku mācību grāmatu vai augstskolu kursu. Vai jūs piekrītat / nepiekrītat?
Es piekrītu, bet tas ir atkarīgs no jūsu datu zinātnes definīcijas (par ko daudzi cilvēki nepiekrīt!). Manuprāt, datu zinātne ir trīs lietu sajaukums: kvantitatīvā analīze (lai precīzi saprastu jūsu datus), programmēšana (lai jūs varētu apstrādāt savus datus un rīkoties saskaņā ar savām atziņām) un stāstu veidošana (lai palīdzētu citiem saprast, ko datu līdzekļi). Tik noderīgas prasmes, kas datu zinātniekam varētu būt:
* Statistika, mašīnmācīšanās (kvantitatīvās analīzes pusē). Piemēram, no jūsu datiem nav iespējams iegūt nozīmi, ja nezināt, kā atšķirt signālus no trokšņa. (Tomēr uzsvēršu, ka es uzskatu, ka jebkura spēcīga kvantitatīvā spēja ir piemērota — mana pagātne sākotnēji bija tīra matemātika un valodniecība, un daudzi citi cilvēki šeit nāk no tādām jomām kā fizika un ķīmija. Jūs vienmēr varat izvēlēties izveidojiet īpašus nepieciešamos rīkus.)
* Vispārējas programmēšanas spējas, kā arī zināšanas par konkrētām jomām, piemēram, MapReduce/Hadoop un datu bāzēm. Piemēram, parasti es iekodēju MapReduce darbu programmā Scala, veicu vienkāršu komandrindas rezultātu meklēšanu, nosūtu datus Python vai R tālākai analīzei, izvelku no datu bāzes, lai iegūtu papildu informāciju. lauki un tā tālāk, bieži vien integrējot atrasto dažos mašīnmācīšanās modeļos.
* Web programmēšana, datu vizualizācija (stāstīšanas pusē). Piemēram, man šķiet ārkārtīgi noderīgi izveidot ātru tīmekļa lietotni vai informācijas paneli, kas ļauj citiem cilvēkiem (tostarp man!) mijiedarboties ar datiem — sazinoties gan ar tehniskiem, gan netehniskiem cilvēkiem, ir laba datu vizualizācija. bieži vien daudz noderīgāks un saprotamāks nekā abstrakts skaitlis.
Lai gan nav daudz mācību grāmatu vai kursu, kas aptver visas trīs jomas (viens izņēmums var būt Džefa Hamerbahera un Maika Franklina kurss Bērklijā): http://datascinc.es/ ), protams, ir resursi, kas aptver katru prasmi atsevišķi. (Tomēr šķiet, ka datu vizualizācija joprojām ir nepietiekami novērtēta prasme, tāpēc nodarbības šajā jomā notiek retāk.)
Seko @Mims vai Sazināties