大數(shù)據(jù)工程師考試科目有哪些
貓咪抱抱
小蝴蝶飛不過(guò)
一、認(rèn)識(shí)大數(shù)據(jù)大數(shù)據(jù)本質(zhì)其實(shí)也是數(shù)據(jù)，不過(guò)也包括了些新的特征，數(shù)據(jù)來(lái)源廣;數(shù)據(jù)格式多樣化(結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、Excel文件等);數(shù)據(jù)量大(最少也是TB級(jí)別的、甚至可能是PB級(jí)別);數(shù)據(jù)增長(zhǎng)速度快。二、大數(shù)據(jù)所需技能要求Python語(yǔ)言：編寫(xiě)一些腳本時(shí)會(huì)用到。Scala語(yǔ)言：編寫(xiě)Spark程序的最佳語(yǔ)言，當(dāng)然也可以選擇用Python。Ozzie，azkaban：定時(shí)任務(wù)調(diào)度的工具。Hue，Zepplin：圖形化任務(wù)執(zhí)行管理，結(jié)果查看工具。Allluxio，Kylin等：通過(guò)對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行預(yù)處理，加快運(yùn)算速度的工具。必須掌握的技能：、 HBase(、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、輔助小工具(Sqoop/Flume/Oozie/Hue等)。
莎拉波哇
大數(shù)據(jù)開(kāi)發(fā)工程師是是指從事大數(shù)據(jù)采集、清洗、分析、治理、挖掘等技術(shù)研究，并加以利用、管理、維護(hù)和服務(wù)的工程技術(shù)人員。大數(shù)據(jù)工程師專業(yè)技術(shù)水平等級(jí)培訓(xùn)考試分初級(jí)、中級(jí)、高級(jí)三個(gè)級(jí)別。 大數(shù)據(jù)工程師初、中、高三個(gè)級(jí)別考試均設(shè)《大數(shù)據(jù)理論基礎(chǔ)》、《大數(shù)據(jù)技能實(shí)操》兩個(gè)科目。
哈布斯窗簾
大數(shù)據(jù)工程師的主要工作是：分析歷史、預(yù)測(cè)未來(lái)、優(yōu)化選擇。1、分析歷史，找出過(guò)去事件的特征：大數(shù)據(jù)工程師一個(gè)很重要的工作，就是通過(guò)分析數(shù)據(jù)來(lái)找出過(guò)去事件的特征。找出過(guò)去事件的特征，最大的作用是可以幫助企業(yè)更好地認(rèn)識(shí)消費(fèi)者。通過(guò)分析用戶以往的行為軌跡，就能夠了解這個(gè)人，并預(yù)測(cè)他的行為。2、預(yù)測(cè)未來(lái)，預(yù)測(cè)未來(lái)可能發(fā)生的事情：通過(guò)引入關(guān)鍵因素，大數(shù)據(jù)工程師可以預(yù)測(cè)未來(lái)的消費(fèi)趨勢(shì)。3、優(yōu)化選擇，找出最優(yōu)化的結(jié)果：根據(jù)不同企業(yè)的業(yè)務(wù)性質(zhì)，大數(shù)據(jù)工程師可以通過(guò)數(shù)據(jù)分析來(lái)達(dá)到不同的目的。在工作崗位上，大數(shù)據(jù)工程師需要基于Hadoop，Spark等構(gòu)建數(shù)據(jù)分析平臺(tái)，進(jìn)行設(shè)計(jì)、開(kāi)發(fā)分布式計(jì)算業(yè)務(wù)。負(fù)責(zé)大數(shù)據(jù)平臺(tái)(Hadoop，HBase，Spark等)集群環(huán)境的搭建，性能調(diào)優(yōu)和日常維護(hù)。負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)，數(shù)據(jù)ETL的設(shè)計(jì)、開(kāi)發(fā)和性能優(yōu)化。參與構(gòu)建大數(shù)據(jù)平臺(tái)，依托大數(shù)據(jù)技術(shù)建設(shè)用戶畫(huà)像。擴(kuò)展資料：大數(shù)據(jù)工程師可以從事對(duì)大量數(shù)據(jù)的采集、清洗、分析、治理、挖掘，并對(duì)這些數(shù)據(jù)加以利用、管理、維護(hù)和服務(wù)的相關(guān)技術(shù)工作。大數(shù)據(jù)工程師專業(yè)技術(shù)水平等級(jí)培訓(xùn)考試分初級(jí)、中級(jí)、高級(jí)三個(gè)級(jí)別。大數(shù)據(jù)工程師培養(yǎng)人群：有志于從事大數(shù)據(jù)采集、清洗、分析、治理、挖掘等技術(shù)研究，并加以利用、管理、維護(hù)和服務(wù)的工程技術(shù)人員。大數(shù)據(jù)工程師初、中、高三個(gè)級(jí)別考試均設(shè)《大數(shù)據(jù)理論基礎(chǔ)》、《大數(shù)據(jù)技能實(shí)操》兩個(gè)科目。參考資料：百度百科-大數(shù)據(jù)工程師
優(yōu)質(zhì)工程師考試問(wèn)答知識(shí)庫(kù)