大數(shù)據(jù)工程師需要具備的能力1.數(shù)學(xué)及統(tǒng)計(jì)學(xué)相關(guān)的背景就我們采訪過(guò)的BAT三家互聯(lián)網(wǎng)大公司來(lái)說(shuō)，對(duì)于大數(shù)據(jù)工程師的要求都是希望是統(tǒng)計(jì)學(xué)和數(shù)學(xué)背景的碩士或博士學(xué)歷。缺乏理論背景的數(shù)據(jù)工作者，更容易進(jìn)入一個(gè)技能上的危險(xiǎn)區(qū)域(Danger Zone)—一堆數(shù)字，按照不同的數(shù)據(jù)模型和算法總能捯飭出一些結(jié)果來(lái)，但如果你不知道那代表什么，就并不是真正有意義的結(jié)果，并且那樣的結(jié)果還容易誤導(dǎo)你。只有具備一定的理論知識(shí)，才能理解模型、復(fù)用模型甚至創(chuàng)新模型，來(lái)解決實(shí)際問(wèn)題。2.計(jì)算機(jī)編碼能力實(shí)際開(kāi)發(fā)能力和大規(guī)模的數(shù)據(jù)處理能力是作為大數(shù)據(jù)工程師的一些必備要素。因?yàn)樵S多數(shù)據(jù)的價(jià)值來(lái)自于挖掘的過(guò)程，你必須親自動(dòng)手才能發(fā)現(xiàn)金子的價(jià)值。。舉例來(lái)說(shuō)，現(xiàn)在人們?cè)谏缃痪W(wǎng)絡(luò)上所產(chǎn)生的許多記錄都是非結(jié)構(gòu)化的數(shù)據(jù)，如何從這些毫無(wú)頭緒的文字、語(yǔ)音、圖像甚至視頻中攫取有意義的信息就需要大數(shù)據(jù)工程師親自挖掘。即使在某些團(tuán)隊(duì)中，大數(shù)據(jù)工程師的職責(zé)以商業(yè)分析為主，但也要熟悉計(jì)算機(jī)處理大數(shù)據(jù)的方式。3.對(duì)特定應(yīng)用領(lǐng)域或行業(yè)的知識(shí)大數(shù)據(jù)工程師這個(gè)角色很重要的一點(diǎn)是，不能脫離市場(chǎng)，因?yàn)榇髷?shù)據(jù)只有和特定領(lǐng)域的應(yīng)用結(jié)合起來(lái)才能產(chǎn)生價(jià)值。所以，在某個(gè)或多個(gè)垂直行業(yè)的經(jīng)歷能為應(yīng)聘者積累對(duì)行業(yè)的認(rèn)知，對(duì)于之后成為大數(shù)據(jù)工程師有很大幫助，因此這也是應(yīng)聘這個(gè)崗位時(shí)較有說(shuō)服力的加分項(xiàng)。他不能只是懂得數(shù)據(jù)，還要有商業(yè)頭腦，不論對(duì)零售、醫(yī)藥、游戲還是旅游等行業(yè)，能就其中某些領(lǐng)域有一定的理解，最好還是與公司的業(yè)務(wù)方向一致的，過(guò)去我們說(shuō)一些奢侈品店員勢(shì)利，看人一眼就知道買(mǎi)得起買(mǎi)不起，但這群人恰恰是有敏銳度的，我們認(rèn)為他們是這個(gè)行業(yè)的專(zhuān)家。又比如對(duì)醫(yī)療行業(yè)了解的人，他在考慮醫(yī)療保險(xiǎn)業(yè)務(wù)時(shí)，不僅會(huì)和人們醫(yī)院看病的記錄相關(guān)，也會(huì)考慮飲食數(shù)據(jù)，這些都是基于對(duì)該領(lǐng)域的了解。