漢口小霸王
1、認識大數(shù)據(jù)大數(shù)據(jù)本質(zhì)其實也是數(shù)據(jù),不過也包括了些新的特征,數(shù)據(jù)來源廣;數(shù)據(jù)格式多樣化(結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、Excel文件等);數(shù)據(jù)量大(最少也是TB級別的、甚至可能是PB級別);數(shù)據(jù)增長速度快。2、大數(shù)據(jù)所需技能要求Python語言:編寫一些腳本時會用到。Scala語言:編寫Spark程序的最佳語言,當然也可以選擇用Python。Ozzie,azkaban:定時任務(wù)調(diào)度的工具。Hue,Zepplin:圖形化任務(wù)執(zhí)行管理,結(jié)果查看工具。Allluxio,Kylin等:通過對存儲的數(shù)據(jù)進行預(yù)處理,加快運算速度的工具。3、必須掌握的技能:、 HBase(、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、輔助小工具(Sqoop/Flume/Oozie/Hue等)。
優(yōu)質(zhì)工程師考試問答知識庫