一、認(rèn)識大數(shù)據(jù)大數(shù)據(jù)本質(zhì)其實(shí)也是數(shù)據(jù)，不過也包括了些新的特征，數(shù)據(jù)來源廣;數(shù)據(jù)格式多樣化(結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、Excel文件等);數(shù)據(jù)量大(最少也是TB級別的、甚至可能是PB級別);數(shù)據(jù)增長速度快。二、大數(shù)據(jù)所需技能要求Python語言：編寫一些腳本時(shí)會用到。Scala語言：編寫Spark程序的最佳語言，當(dāng)然也可以選擇用Python。Ozzie，azkaban：定時(shí)任務(wù)調(diào)度的工具。Hue，Zepplin：圖形化任務(wù)執(zhí)行管理，結(jié)果查看工具。Allluxio，Kylin等：通過對存儲的數(shù)據(jù)進(jìn)行預(yù)處理，加快運(yùn)算速度的工具。必須掌握的技能：、 HBase(、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、輔助小工具(Sqoop/Flume/Oozie/Hue等)。