大數(shù)據(jù)工程師負(fù)責(zé)創(chuàng)建和維護(hù)分析基礎(chǔ)架構(gòu)，該基礎(chǔ)架構(gòu)幾乎可以支持?jǐn)?shù)據(jù)世界中的所有其他功能。他們負(fù)責(zé)大數(shù)據(jù)架構(gòu)的開發(fā)、構(gòu)建、維護(hù)和測試，例如數(shù)據(jù)庫和大數(shù)據(jù)處理系統(tǒng)。大數(shù)據(jù)工程師還負(fù)責(zé)創(chuàng)建用于建模，挖掘，獲取和驗(yàn)證數(shù)據(jù)集合等流程。

1、負(fù)責(zé)公司大數(shù)據(jù)平臺產(chǎn)品的技術(shù)工作，包括需求分析、架構(gòu)設(shè)計、研發(fā)、以及性能分析工作；

2、負(fù)責(zé)整體提升Hadoop集群的高可用性、高性能、高擴(kuò)展特性，已有的大數(shù)據(jù)平臺架構(gòu)的維護(hù)工作；

3、負(fù)責(zé)海量數(shù)據(jù)的導(dǎo)入優(yōu)化工作；

4、整理和完善各類文檔。

大數(shù)據(jù)工程師需要具有良好的溝通能力、優(yōu)秀的分析問題和問題解決能力；具備強(qiáng)烈的進(jìn)取心和團(tuán)隊合作精神；具備數(shù)據(jù)庫系統(tǒng)的基本理論知識。

1、linux

大數(shù)據(jù)集群主要建立在linux操作系統(tǒng)上，Linux是一套免費(fèi)使用和自由傳播的類Unix操作系統(tǒng)。而這部分的內(nèi)容是大家在學(xué)習(xí)大數(shù)據(jù)中必須要學(xué)習(xí)的，只有學(xué)好Linux才能在工作中更加的得心應(yīng)手。

2、Hadoop

我覺的大家聽過大數(shù)據(jù)就一定會聽過hadoop。Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行離線分布式處理的軟件框架，運(yùn)算時利用maprebaice對數(shù)據(jù)進(jìn)行處理。

3、Java

只需要學(xué)習(xí)Java的標(biāo)準(zhǔn)版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技術(shù)在大數(shù)據(jù)技術(shù)里用到的并不多，只需要了解就可以了，當(dāng)然Java怎么連接數(shù)據(jù)庫還是要知道的，像JDBC一定要掌握一下。