大數(shù)據(jù)系統(tǒng)工程師考試
不想在你身后
佳麗子伊
對(duì)國內(nèi)就業(yè)市場而言，本科學(xué)歷是大數(shù)據(jù)相關(guān)職位的一個(gè)基本要求，從各個(gè)職位上看需求量都是最大的。高端人才要求碩士以上的學(xué)歷也很普遍，顯示出這個(gè)行業(yè)的進(jìn)入的確是有一定門檻的。對(duì)于學(xué)歷這個(gè)問題，一般來說，當(dāng)你沒有任何基礎(chǔ)的時(shí)候，能拿得出手的只有學(xué)歷，本科生當(dāng)然競爭不過研究生。但是隨著工作時(shí)間久了，你的能力達(dá)到了這個(gè)職位的要求，學(xué)歷就不重要了。尤其是對(duì)業(yè)務(wù)能力要求比較高的數(shù)據(jù)分析師、數(shù)據(jù)挖掘師這些職位，你的行業(yè)知識(shí)和業(yè)務(wù)理解能力在很多情況下比學(xué)歷更加重要。當(dāng)然，高端人才(如算法工程師、數(shù)據(jù)科學(xué)家)對(duì)學(xué)歷也比較高，如果各方面條件允許，選擇計(jì)算數(shù)學(xué)/概率論/模式識(shí)別/計(jì)算機(jī)方面的研究生深造也是有必要的，一些大公司的確會(huì)在初篩的時(shí)候根據(jù)學(xué)歷篩選人，這個(gè)也很正常。當(dāng)然，你也可以在工作幾年后，當(dāng)覺得到基礎(chǔ)瓶頸的時(shí)候，可以再去讀書，這個(gè)時(shí)候可能你更清楚自己需要的是什么。對(duì)于進(jìn)入這個(gè)行業(yè)的同學(xué)而言，你可以選擇提升學(xué)歷后再進(jìn)入這個(gè)行業(yè)，也可以先就業(yè)，用你的工作經(jīng)驗(yàn)彌補(bǔ)你的學(xué)歷不足。大數(shù)據(jù)是一個(gè)實(shí)踐性很強(qiáng)的學(xué)科，從實(shí)際工作中獲取的知識(shí)和能力是你在學(xué)校里面無法學(xué)習(xí)到的，企業(yè)最終也是看重你的實(shí)際工作能力。
可可Cris
18張最有含金量的證書其中就有數(shù)據(jù)分析師證。你說的金融的那個(gè)證書，在國際上也是很知名的。這兩個(gè)證書側(cè)重點(diǎn)不同。
Perfect顏
1.大數(shù)據(jù)架構(gòu)的工具與組件
數(shù)據(jù)工程師更關(guān)注分析基礎(chǔ)架構(gòu)，因此所需的大部分技能都是以架構(gòu)為中心的。
2.深入了解SQL和其它數(shù)據(jù)庫解決方案
數(shù)據(jù)工程師需要對(duì)數(shù)據(jù)庫管理系統(tǒng)有比較熟悉的了解，而且深入了解SQL非常重要。同樣其它數(shù)據(jù)庫解決方案，例如Cassandra或BigTable也須熟悉，因?yàn)椴皇敲總€(gè)數(shù)據(jù)庫都是由可識(shí)別的標(biāo)準(zhǔn)來構(gòu)建。
3.數(shù)據(jù)倉庫和ETL工具
數(shù)據(jù)倉庫和ETL經(jīng)驗(yàn)對(duì)于數(shù)據(jù)工程師至關(guān)重要。像Redshift或Panoply這樣的數(shù)據(jù)倉庫解決方案，以及ETL工具，比如StitchData或Segment都非常有用。另外，數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)檢索經(jīng)驗(yàn)同樣重要，因?yàn)樘幚淼臄?shù)據(jù)量是個(gè)天文數(shù)字。
4.基于Hadoop的分析(HBase，Hive，MapReduce等)
對(duì)基于Apache Hadoop的分析有深刻理解是這個(gè)領(lǐng)域的一個(gè)非常必要的需求，一般情況下HBase，Hive和MapReduce的知識(shí)存儲(chǔ)是必需的。
5.編碼
說到解決方案，編碼與開發(fā)能力是一個(gè)重要的優(yōu)點(diǎn)(這也是許多職位的要求)，你要熟悉Python，C/C++，Java，Perl，Golang或其它語言，這會(huì)非常有價(jià)值。
6.機(jī)器學(xué)習(xí)
雖然數(shù)據(jù)工程師主要關(guān)注的是數(shù)據(jù)科學(xué)，但對(duì)數(shù)據(jù)處理技術(shù)的理解會(huì)加分，比如一些統(tǒng)計(jì)分析知識(shí)和基礎(chǔ)數(shù)據(jù)建模。
月野小兔紙
學(xué)習(xí)大數(shù)據(jù)技術(shù)對(duì)學(xué)歷沒有具體要求，但是要想考初級(jí)大數(shù)據(jù)工程師至少要具備一些基本知識(shí)。
CDA 是一套科學(xué)化，專業(yè)化，國際化的人才考核標(biāo)準(zhǔn)，共分為CDA LEVELⅠ ，LEVEL Ⅱ，LEVEL Ⅲ三個(gè)等級(jí)，涉及行業(yè)包括互聯(lián)網(wǎng)、金融、咨詢、電信、零售、醫(yī)療、旅游等，涉及崗位包括大數(shù)據(jù)、數(shù)據(jù)分析、市場、產(chǎn)品、運(yùn)營、咨詢、投資、研發(fā)等。該標(biāo)準(zhǔn)符合當(dāng)今全球數(shù)據(jù)科學(xué)技術(shù)潮流，可以為各行業(yè)企業(yè)和機(jī)構(gòu)提供數(shù)據(jù)人才參照標(biāo)準(zhǔn)。
LevelI:無要求,皆可報(bào)考
LevelII:需通過LEVEL I認(rèn)證
LevelIII:需通過LEVEL II認(rèn)證
CDA數(shù)據(jù)分析師等級(jí)標(biāo)準(zhǔn)是根據(jù)過內(nèi)各大企業(yè)對(duì)人才技術(shù)的需求而設(shè)立旨在為國內(nèi)數(shù)據(jù)分析發(fā)展階段提供一個(gè)權(quán)威、科學(xué)、專業(yè)的標(biāo)準(zhǔn)規(guī)范,說明究竟什么人才是優(yōu)秀的數(shù)據(jù)分析師?CDA數(shù)據(jù)分析師的就業(yè)前景可選擇于通訊、醫(yī)療、銀行、證券、保險(xiǎn)、制造、商業(yè)、市場研究、科研、教育等多個(gè)行業(yè)和領(lǐng)域.根據(jù)三個(gè)不同的等級(jí)勝任不同的數(shù)據(jù)分析工作任務(wù)。
CDA數(shù)據(jù)分析師的含金量取決于要做什么,因?yàn)镃DA數(shù)據(jù)分析師證書是由中國成人教育協(xié)會(huì)數(shù)據(jù)分析教育培訓(xùn)專業(yè)委員會(huì)監(jiān)制,考試通過拿到的證書代表了你的技能水平,可做為企、事業(yè)單位選拔和聘用專業(yè)人才的參考依據(jù).
考大數(shù)據(jù)分析師CDA值得選擇。CDA（Certified Data Analyst），是大數(shù)據(jù)和人工智能時(shí)代面向國際范圍全行業(yè)的數(shù)據(jù)分析專業(yè)人才職業(yè)簡稱，具體指在互聯(lián)網(wǎng)、金融、咨詢、電信、零售、醫(yī)療、旅游等行業(yè)專門從事數(shù)據(jù)的采集、清洗、處理、分析并能制作業(yè)務(wù)報(bào)告、提供決策的新型數(shù)據(jù)人才。
哆啦瞄瞄
本科學(xué)歷從企業(yè)方面來說，大數(shù)據(jù)人才大致可以分為產(chǎn)品和市場分析、安全和風(fēng)險(xiǎn)分析以及商業(yè)智能三大領(lǐng)域。產(chǎn)品分析是指通過算法來測試新產(chǎn)品的有效性，是一個(gè)相對(duì)較 新的領(lǐng)域。在安全和風(fēng)險(xiǎn)分析方面，數(shù)據(jù)科學(xué)家們知道需要收集哪些數(shù)據(jù)、如何進(jìn)行快速分析，并最終通過分析信息來有效遏制網(wǎng)絡(luò)入侵或抓住網(wǎng)絡(luò)罪犯。一、ETL研發(fā)隨著數(shù)據(jù)種類的不斷增加，企業(yè)對(duì)數(shù)據(jù)整合專業(yè)人才的需求越來越旺盛。ETL開發(fā)者與不同的數(shù)據(jù)來源和組織打交道，從不同的源頭抽取數(shù)據(jù)，轉(zhuǎn)換并導(dǎo)入數(shù)據(jù)倉庫以滿足企業(yè)的需要。ETL研發(fā)，主要負(fù)責(zé)將分散的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。目前，ETL行業(yè)相對(duì)成熟，相關(guān)崗位的工作生命周期比較長，通常由內(nèi)部員工和外包合同商之間通力完成。ETL人才在大數(shù)據(jù)時(shí)代炙手可熱的原因之一是：在企業(yè)大數(shù)據(jù)應(yīng)用的早期階段，Hadoop只是窮人的ETL。二、Hadoop開發(fā)Hadoop的核心是HDFS和提供了海量數(shù)據(jù)的存儲(chǔ)，MapReduce提供了對(duì)數(shù)據(jù)的計(jì)算。隨著數(shù)據(jù)集規(guī)模不斷增大，而傳統(tǒng)BI的數(shù)據(jù)處理成本過高，企業(yè)對(duì)Hadoop及相關(guān)的廉價(jià)數(shù)據(jù)處理技術(shù)如Hive、HBase、MapReduce、Pig等的需求將持續(xù)增長。如今具備Hadoop框架經(jīng)驗(yàn)的技術(shù)人員是搶手的大數(shù)據(jù)人才。三、可視化（前端展現(xiàn)）工具開發(fā)海量數(shù)據(jù)的分析是個(gè)大挑戰(zhàn)，而新型數(shù)據(jù)可視化工具如Spotifre，Qlikview和Tableau可以直觀高效地展示數(shù)據(jù)?？梢暬_發(fā)就是在可視開發(fā)工具提供的圖形用戶界面上，通過操作界面元素，由可視開發(fā)工具自動(dòng)生成應(yīng)用軟件。還可輕松跨越多個(gè)資源和層次連接您的所有數(shù) 據(jù)，經(jīng)過時(shí)間考驗(yàn)，完全可擴(kuò)展的，功能豐富全面的可視化組件庫為開發(fā)人員提供了功能完整并且簡單易用的組件集合，以用來構(gòu)建極其豐富的用戶界面。過去，數(shù)據(jù)可視化屬于商業(yè)智能開發(fā)者類別，但是隨著Hadoop的崛起，數(shù)據(jù)可視化已經(jīng)成了一項(xiàng)獨(dú)立的專業(yè)技能和崗位。四、信息架構(gòu)開發(fā)大數(shù)據(jù)重新激發(fā)了主數(shù)據(jù)管理的熱潮。充分開發(fā)利用企業(yè)數(shù)據(jù)并支持決策需要非常專業(yè)的技能。信息架構(gòu)師必須了解如何定義和存檔關(guān)鍵元素，確保以最有效的方式進(jìn)行數(shù)據(jù)管理和利用。信息架構(gòu)師的關(guān)鍵技能包括主數(shù)據(jù)管理、業(yè)務(wù)知識(shí)和數(shù)據(jù)建模等。五、數(shù)據(jù)倉庫研究數(shù)據(jù)倉庫是為企業(yè)所有級(jí)別的決策制定過程提供支持的所有類型數(shù)據(jù)的戰(zhàn)略集合。它是單個(gè)數(shù)據(jù)存儲(chǔ)，出于分析性報(bào)告和決策支持的目的而創(chuàng)建。為企業(yè)提供需要業(yè)務(wù)智能來指導(dǎo)業(yè)務(wù)流程改進(jìn)和監(jiān)視時(shí)間、成本、質(zhì)量和控制。六、OLAP開發(fā)隨著數(shù)據(jù)庫技術(shù)的發(fā)展和應(yīng)用，數(shù)據(jù)庫存儲(chǔ)的數(shù)據(jù)量從20世紀(jì)80年代的兆（M）字節(jié)及千兆（G）字節(jié)過渡到現(xiàn)在的兆兆（T）字節(jié)和千兆兆（P）字節(jié)，同時(shí)，用戶的查詢需求也越來越復(fù)雜，涉及的已不僅是查詢或操縱一張關(guān)系表中的一條或幾條記錄，而且要對(duì)多張表中千萬條記錄的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和信息綜合。聯(lián)機(jī)分析處理（OLAP）系統(tǒng)就負(fù)責(zé)解決此類海量數(shù)據(jù)處理的問題。OLAP在線聯(lián)機(jī)分析開發(fā)者，負(fù)責(zé)將數(shù)據(jù)從關(guān)系型或非關(guān)系型數(shù)據(jù)源中抽取出來建立模型，然后創(chuàng)建數(shù)據(jù)訪問的用戶界面，提供高性能的預(yù)定義查詢功能。
漂飄linn
大數(shù)據(jù)工程師的主要工作是：分析歷史、預(yù)測未來、優(yōu)化選擇。1、分析歷史，找出過去事件的特征：大數(shù)據(jù)工程師一個(gè)很重要的工作，就是通過分析數(shù)據(jù)來找出過去事件的特征。找出過去事件的特征，最大的作用是可以幫助企業(yè)更好地認(rèn)識(shí)消費(fèi)者。通過分析用戶以往的行為軌跡，就能夠了解這個(gè)人，并預(yù)測他的行為。2、預(yù)測未來，預(yù)測未來可能發(fā)生的事情：通過引入關(guān)鍵因素，大數(shù)據(jù)工程師可以預(yù)測未來的消費(fèi)趨勢。3、優(yōu)化選擇，找出最優(yōu)化的結(jié)果：根據(jù)不同企業(yè)的業(yè)務(wù)性質(zhì)，大數(shù)據(jù)工程師可以通過數(shù)據(jù)分析來達(dá)到不同的目的。在工作崗位上，大數(shù)據(jù)工程師需要基于Hadoop，Spark等構(gòu)建數(shù)據(jù)分析平臺(tái)，進(jìn)行設(shè)計(jì)、開發(fā)分布式計(jì)算業(yè)務(wù)。負(fù)責(zé)大數(shù)據(jù)平臺(tái)(Hadoop，HBase，Spark等)集群環(huán)境的搭建，性能調(diào)優(yōu)和日常維護(hù)。負(fù)責(zé)數(shù)據(jù)倉庫設(shè)計(jì)，數(shù)據(jù)ETL的設(shè)計(jì)、開發(fā)和性能優(yōu)化。參與構(gòu)建大數(shù)據(jù)平臺(tái)，依托大數(shù)據(jù)技術(shù)建設(shè)用戶畫像。擴(kuò)展資料：大數(shù)據(jù)工程師可以從事對(duì)大量數(shù)據(jù)的采集、清洗、分析、治理、挖掘，并對(duì)這些數(shù)據(jù)加以利用、管理、維護(hù)和服務(wù)的相關(guān)技術(shù)工作。大數(shù)據(jù)工程師專業(yè)技術(shù)水平等級(jí)培訓(xùn)考試分初級(jí)、中級(jí)、高級(jí)三個(gè)級(jí)別。大數(shù)據(jù)工程師培養(yǎng)人群：有志于從事大數(shù)據(jù)采集、清洗、分析、治理、挖掘等技術(shù)研究，并加以利用、管理、維護(hù)和服務(wù)的工程技術(shù)人員。大數(shù)據(jù)工程師初、中、高三個(gè)級(jí)別考試均設(shè)《大數(shù)據(jù)理論基礎(chǔ)》、《大數(shù)據(jù)技能實(shí)操》兩個(gè)科目。參考資料：百度百科-大數(shù)據(jù)工程師
blueberry317
大數(shù)據(jù)從事的是開源工作，更傾向于“研發(fā)”，能夠重新激起程序員研發(fā)程序的熱情，職業(yè)生涯有了新的追求，這意味著大數(shù)據(jù)會(huì)成為值得程序員長期奮斗不斷突破的工作；其次，由于大數(shù)據(jù)屬新興領(lǐng)域，專業(yè)人才比較缺乏，高端人才更是企業(yè)爭搶的對(duì)象，薪資上升容易，職業(yè)發(fā)展?jié)摿薮?。二、大?shù)據(jù)人才薪資如何？做技術(shù)編程也是不錯(cuò)的，不過目前大數(shù)據(jù)是個(gè)趨勢，稍微有實(shí)力點(diǎn)的企業(yè)都在上大數(shù)據(jù)項(xiàng)目，而Hadoop本身又是編程開發(fā)的，再加上Hadoop工程師普遍比純技術(shù)編程開發(fā)要高30%以上，所以有很多搞技術(shù)編程的都在往hadoop大數(shù)據(jù)方向轉(zhuǎn)。做技術(shù)編程的人已經(jīng)比較多了，很多人工作4~5年月薪也難上2萬，能上萬的更是寥寥。但Hadoop很多人只1年經(jīng)驗(yàn)就拿2萬以上了。所以很多現(xiàn)在待遇還不錯(cuò)的人也在學(xué)大數(shù)據(jù)，主要也是考慮未來發(fā)展天花板的問題。大數(shù)據(jù)工程師的工作難度大嗎?首先我們先了解一下大數(shù)據(jù)工程師們需要處理哪些工作，根據(jù)工作內(nèi)容，大家就能夠在心中有個(gè)基本的概念。在工作崗位上，大數(shù)據(jù)工程師需要分析優(yōu)化系統(tǒng)，解決系統(tǒng)運(yùn)行中的穩(wěn)定性問題;負(fù)責(zé)大數(shù)據(jù)基礎(chǔ)設(shè)施框架的維護(hù)及二次開發(fā)，如kafka、flink、hbase等，負(fù)責(zé)進(jìn)行數(shù)據(jù)采集、處理、分析、統(tǒng)計(jì)、挖掘工作等等。大數(shù)據(jù)工程師的工作累嗎?除開以上工作之外，大數(shù)據(jù)工程師還需要負(fù)責(zé)數(shù)據(jù)倉庫、數(shù)據(jù)集市建設(shè)，通過離線、實(shí)時(shí)方式接入各數(shù)據(jù)源數(shù)據(jù);根據(jù)業(yè)務(wù)需求對(duì)數(shù)據(jù)、清洗、處理、計(jì)算，建模等工作，負(fù)責(zé) 即時(shí)查詢工具、固定報(bào)表、運(yùn)營數(shù)據(jù)產(chǎn)品、Dashboard等產(chǎn)品的設(shè)計(jì)、研發(fā)及應(yīng)用等等。
忘記高傲
可以選擇阿里云等大廠的相關(guān)認(rèn)證，比較有含金量。
大數(shù)據(jù)作為一項(xiàng)前沿互聯(lián)網(wǎng)技術(shù)，目前被各互聯(lián)網(wǎng)大廠的項(xiàng)目部門大量需求，是不錯(cuò)的選擇。
隨著鴻蒙系統(tǒng)的發(fā)布，物聯(lián)網(wǎng)時(shí)代將會(huì)催生更多大數(shù)據(jù)崗位。大數(shù)據(jù)技術(shù)在現(xiàn)在，以及可預(yù)見的將來，都是比較吃香的。大數(shù)據(jù)是一門交叉學(xué)科，很多大學(xué)沒有為大數(shù)據(jù)單獨(dú)設(shè)置專業(yè)，主要有自學(xué)和報(bào)班學(xué)習(xí)兩種途徑。
大數(shù)據(jù)學(xué)習(xí)內(nèi)容主要有：
①JavaSE核心技術(shù)；
②Hadoop平臺(tái)核心技術(shù)、Hive開發(fā)、HBase開發(fā)；
③Spark相關(guān)技術(shù)、Scala基本編程；
④掌握Python基本使用、核心庫的使用、Python爬蟲、簡單數(shù)據(jù)分析；理解Python機(jī)器學(xué)習(xí)；
⑤大數(shù)據(jù)項(xiàng)目開發(fā)實(shí)戰(zhàn)，大數(shù)據(jù)系統(tǒng)管理優(yōu)化等。
云計(jì)算學(xué)習(xí)主要內(nèi)容有：
①網(wǎng)絡(luò)基礎(chǔ)與linux系統(tǒng)的管理；
②優(yōu)化及高可用技能；
③虛擬化與云平臺(tái)技術(shù)；
④開發(fā)運(yùn)維。
互聯(lián)網(wǎng)行業(yè)目前還是最熱門的行業(yè)之一，學(xué)習(xí)IT技能之后足夠優(yōu)秀是有機(jī)會(huì)進(jìn)入騰訊、阿里、網(wǎng)易等互聯(lián)網(wǎng)大廠高薪就業(yè)的，發(fā)展前景非常好，普通人也可以學(xué)習(xí)。
想要系統(tǒng)學(xué)習(xí)，你可以考察對(duì)比一下開設(shè)有相關(guān)專業(yè)的熱門學(xué)校，好的學(xué)校擁有根據(jù)當(dāng)下企業(yè)需求自主研發(fā)課程的能力，能夠在校期間取得大專或本科學(xué)歷，中博軟件學(xué)院、南京課工場、南京北大青鳥等開設(shè)相關(guān)專業(yè)的學(xué)校都是不錯(cuò)的，建議實(shí)地考察對(duì)比一下。
祝你學(xué)有所成，望采納。
優(yōu)質(zhì)工程師考試問答知識(shí)庫