納殤誰鯟
、計算機編碼能力實際開發(fā)能力和大規(guī)模的數(shù)據(jù)處理能力是作為大數(shù)據(jù)工程師的一些必備要素。舉例來說,現(xiàn)在人們在社交網(wǎng)絡上所產(chǎn)生的許多記錄都是非結構化的數(shù)據(jù),如何從這些毫無頭緒的文字、語音、圖像甚至視頻中拾取有意義的信息就需要大數(shù)據(jù)工程師親自挖掘。二、數(shù)學及統(tǒng)計學相關的背景國內BAT為代表的大公司,對于大數(shù)據(jù)工程師的要求都是希望是統(tǒng)計學和數(shù)學背景的碩士或博士學歷。缺乏理論背景的數(shù)據(jù)工作者,按照不同的數(shù)據(jù)模型和算法總能捯飭出一些結果來,但如果你不知道那代表什么,就并不是真正有意義的結果,并且那樣的結果還容易誤導你。只有具備一定的理論知識,才能理解模型、復用模型甚至創(chuàng)新模型,來解決實際問題。三、特定應用領域或行業(yè)的知識大數(shù)據(jù)工程師這個角色很重要的一點是,不能脫離市場,因為大數(shù)據(jù)只有和特定領域的應用結合起來才能產(chǎn)生價值。所以,在某個或多個垂直行業(yè)的經(jīng)歷能為應聘者積累對行業(yè)的認知,對于之后成為大數(shù)據(jù)工程師有很大幫助。
夜雨初晴999
一、計算機編碼能力
實際開發(fā)能力和大規(guī)模的數(shù)據(jù)處理能力是作為大數(shù)據(jù)工程師的一些必備要素。舉例來說,現(xiàn)在人們在社交網(wǎng)絡上所產(chǎn)生的許多記錄都是非結構化的數(shù)據(jù),如何從這些毫無頭緒的文字、語音、圖像甚至視頻中拾取有意義的信息就需要大數(shù)據(jù)工程師親自挖掘。
二、數(shù)學及統(tǒng)計學相關的背景
國內BAT為代表的大公司,對于大數(shù)據(jù)工程師的要求都是希望是統(tǒng)計學和數(shù)學背景的碩士或博士學歷。缺乏理論背景的數(shù)據(jù)工作者,按照不同的數(shù)據(jù)模型和算法總能捯飭出一些結果來,但如果你不知道那代表什么,就并不是真正有意義的結果,并且那樣的結果還容易誤導你。只有具備一定的理論知識,才能理解模型、復用模型甚至創(chuàng)新模型,來解決實際問題。
三、特定應用領域或行業(yè)的知識
大數(shù)據(jù)工程師這個角色很重要的一點是,不能脫離市場,因為大數(shù)據(jù)只有和特定領域的應用結合起來才能產(chǎn)生價值。所以,在某個或多個垂直行業(yè)的經(jīng)歷能為應聘者積累對行業(yè)的認知,對于之后成為大數(shù)據(jù)工程師有很大幫助。
呼倫小貝爾
專業(yè)方面,要求掌握數(shù)據(jù)庫、數(shù)據(jù)挖掘算法、數(shù)據(jù)建模 、系統(tǒng)開發(fā)等偏計算機類課程,重點關注計算機方面的知識;軟件工具上,根據(jù)大數(shù)據(jù)分析流程來看:數(shù)據(jù)采集需要掌握flume、Kafka、網(wǎng)絡爬蟲;數(shù)據(jù)存儲需要掌握數(shù)據(jù)庫如MySQL、SQL Server等,重點了解大數(shù)據(jù)平臺框架Hadoop(MapReduce)、spark;數(shù)據(jù)預處理需要Kettle;數(shù)據(jù)分析需要用到機器學習算法建模;數(shù)據(jù)可視化需要用到PowerBI、tableau;關于編程語言,需要至少掌握Python、Java、C等編程語言中的一種,技術崗也用python,但是底層Java語言也需要懂。
優(yōu)質工程師考試問答知識庫