大數(shù)據(jù)工程師培訓(xùn)配置要求
lipingzhou13
一葉扁舟85
想成為大數(shù)據(jù)開(kāi)發(fā)工程師，在學(xué)歷上最起碼是個(gè)本科生，然后掌握了大數(shù)據(jù)開(kāi)發(fā)的全套技能，精通hadoop生態(tài)圈spark全家桶。
xian蝦米
技能要求：1.精通JAVA開(kāi)發(fā)語(yǔ)言，同時(shí)熟悉Python、Scala開(kāi)發(fā)語(yǔ)言者優(yōu)先；2.熟悉Spark或Hadoop生態(tài)圈技術(shù)，具有源碼閱讀及二次開(kāi)發(fā)工作經(jīng)驗(yàn)；精通Hadoop生態(tài)及高性能緩存相關(guān)的各種工具，有源碼開(kāi)發(fā)實(shí)戰(zhàn)經(jīng)驗(yàn)者優(yōu)先；3.熟練使用SQL，熟悉數(shù)據(jù)庫(kù)原理，熟悉至少一種主流關(guān)系型數(shù)據(jù)庫(kù)；熟悉Linux操作系統(tǒng)，熟練使用常用命令，熟練使用shell腳本；熟悉ETL開(kāi)發(fā)，能熟練至少一種ETL（talend、kettle、ogg等）轉(zhuǎn)化開(kāi)源工具者優(yōu)先；4.具有清晰的系統(tǒng)思維邏輯，對(duì)解決行業(yè)實(shí)際問(wèn)題有濃厚興趣，具備良好的溝通協(xié)調(diào)能力及學(xué)習(xí)能力。
藍(lán)色晚風(fēng)blue
大數(shù)據(jù)所需技能要求Python語(yǔ)言：編寫(xiě)一些腳本時(shí)會(huì)用到。Scala語(yǔ)言：編寫(xiě)Spark程序的最佳語(yǔ)言，當(dāng)然也可以選擇用Python。Ozie，azkaban：定時(shí)任務(wù)調(diào)度的工具。Hue，Zepplin：圖形化任務(wù)執(zhí)行管理，結(jié)果查看工具。Allluxio，Kylin等：通過(guò)對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行預(yù)處理，加快運(yùn)算速度的工具。必須掌握的技能：Java高級(jí)(虛擬機(jī)、并發(fā))、Linux 基本操作、hadoop(HDFS+MapReduce+Yarn )、 HBase(JavaAPI操作+Phoenix )、Hive(Hql基本操作和原理理解)、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、輔助小工具(Sqoop/Flume/Oozie/Hue等)高階技能6條：機(jī)器學(xué)習(xí)算法以及mahout庫(kù)加MLlib、 R語(yǔ)言、Lambda 架構(gòu)、Kappa架構(gòu)、Kylin、Alluxio大數(shù)據(jù)開(kāi)發(fā)工程師除具備專業(yè)的技能外，還要有學(xué)歷（至少大專學(xué)歷），學(xué)歷是敲門(mén)磚。
躲在WC數(shù)錢(qián)
1、熟練精通至少一門(mén)編程語(yǔ)言
掌握J(rèn)ava是必不可少的，要是能同時(shí)熟悉Python、Scala就更好了。
2、掌握Linux操作系統(tǒng)
百分之八十以上的企業(yè)使用Linux操作系統(tǒng)進(jìn)行云計(jì)算、大數(shù)據(jù)平臺(tái)的構(gòu)建，所以做大數(shù)據(jù)開(kāi)發(fā)，Linux必備。
3、掌握大數(shù)據(jù)主流框架及組件
主要是Hadoop、Spark、Storm、Flink等一系列框架，及其生態(tài)圈組件，這部分是重中之重。
軟實(shí)力，就相對(duì)來(lái)說(shuō)要虛一些了，邏輯思維能力、溝通能力、學(xué)習(xí)能力等等，通常在HR面試的時(shí)候，主要就是考察這些方面。
zizzandwzy
一、計(jì)算機(jī)編碼能力
實(shí)際開(kāi)發(fā)能力和大規(guī)模的數(shù)據(jù)處理能力是作為大數(shù)據(jù)工程師的一些必備要素。舉例來(lái)說(shuō)，現(xiàn)在人們?cè)谏缃痪W(wǎng)絡(luò)上所產(chǎn)生的許多記錄都是非結(jié)構(gòu)化的數(shù)據(jù)，如何從這些毫無(wú)頭緒的文字、語(yǔ)音、圖像甚至視頻中拾取有意義的信息就需要大數(shù)據(jù)工程師親自挖掘。
二、數(shù)學(xué)及統(tǒng)計(jì)學(xué)相關(guān)的背景
國(guó)內(nèi)BAT為代表的大公司，對(duì)于大數(shù)據(jù)工程師的要求都是希望是統(tǒng)計(jì)學(xué)和數(shù)學(xué)背景的碩士或博士學(xué)歷。缺乏理論背景的數(shù)據(jù)工作者，按照不同的數(shù)據(jù)模型和算法總能捯飭出一些結(jié)果來(lái)，但如果你不知道那代表什么，就并不是真正有意義的結(jié)果，并且那樣的結(jié)果還容易誤導(dǎo)你。只有具備一定的理論知識(shí)，才能理解模型、復(fù)用模型甚至創(chuàng)新模型，來(lái)解決實(shí)際問(wèn)題。
三、特定應(yīng)用領(lǐng)域或行業(yè)的知識(shí)
大數(shù)據(jù)工程師這個(gè)角色很重要的一點(diǎn)是，不能脫離市場(chǎng)，因?yàn)榇髷?shù)據(jù)只有和特定領(lǐng)域的應(yīng)用結(jié)合起來(lái)才能產(chǎn)生價(jià)值。所以，在某個(gè)或多個(gè)垂直行業(yè)的經(jīng)歷能為應(yīng)聘者積累對(duì)行業(yè)的認(rèn)知，對(duì)于之后成為大數(shù)據(jù)工程師有很大幫助。
優(yōu)質(zhì)工程師考試問(wèn)答知識(shí)庫(kù)
