要培訓(xùn)什么數(shù)字技術(shù)工程師
雁歸來無痕
百合妖妖1990
Java ：只要了bai解一些基礎(chǔ)即可，做大數(shù)據(jù)不需要很深的Java 技術(shù)，學(xué)java SE 就相當(dāng)于有學(xué)習(xí)大數(shù)據(jù)。Linux：因?yàn)榇髷?shù)據(jù)相關(guān)軟件都是在Linux上運(yùn)行的，所以Linux要學(xué)習(xí)的扎實(shí)一些，學(xué)好Linux對(duì)你快速掌握大數(shù)據(jù)相關(guān)技術(shù)會(huì)有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運(yùn)行環(huán)境和網(wǎng)絡(luò)環(huán)境配置，能少踩很多坑，學(xué)會(huì)shell就能看懂腳本這樣能更容易理解和配置大數(shù)據(jù)集群。Hadoop：這是現(xiàn)在流行的大數(shù)據(jù)處理平臺(tái)幾乎已經(jīng)成為大數(shù)據(jù)的代名詞，所以這個(gè)是必學(xué)的。Zookeeper：這是個(gè)萬金油，安裝Hadoop的HA的時(shí)候就會(huì)用到它，以后的Hbase也會(huì)用到它。Mysql：我們學(xué)習(xí)完大數(shù)據(jù)的處理了，接下來學(xué)習(xí)學(xué)習(xí)小數(shù)據(jù)的處理工具mysql數(shù)據(jù)庫，因?yàn)橐粫?huì)裝hive的時(shí)候要用到，mysql需要掌握到什么層度那?你能在Linux上把它安裝好，運(yùn)行起來，會(huì)配置簡單的權(quán)限，修改root的密碼，創(chuàng)建數(shù)據(jù)庫。Sqoop：這個(gè)是用于把Mysql里的數(shù)據(jù)導(dǎo)入到Hadoop里的。Hive：這個(gè)東西對(duì)于會(huì)SQL語法的來說就是神器，它能讓你處理大數(shù)據(jù)變的很簡單Oozie：既然學(xué)會(huì)Hive了，我相信你一定需要這個(gè)東西，它可以幫你管理你的Hive或者M(jìn)apReduce、Spark腳本，還能檢查你的程序是否執(zhí)行正確。Hbase：這是Hadoop生態(tài)體系中的NOSQL數(shù)據(jù)庫，他的數(shù)據(jù)是按照key和value的形式存儲(chǔ)的并且key是唯一的，所以它能用來做數(shù)據(jù)的排重，它與MYSQL相比能存儲(chǔ)的數(shù)據(jù)量大很多。Kafka：這是個(gè)比較好用的隊(duì)列工具。Spark：它是用來彌補(bǔ)基于MapReduce處理數(shù)據(jù)速度上的缺點(diǎn)。請(qǐng)點(diǎn)擊輸入圖片描述
cupid8698小博士
it工程師要學(xué)編程語言、數(shù)據(jù)庫技術(shù)、JAVASCRIPT、AJAX、HIBERNATE、SPRING等前沿技術(shù)it工程師，IT工程師是從事IT相關(guān)工作的人員的統(tǒng)稱。它是一個(gè)廣義的概念，包括IT設(shè)計(jì)人員、IT架構(gòu)人員、IT工程管理人員、程序員等一系列崗位，工作內(nèi)容都與軟件開發(fā)生產(chǎn)相關(guān)。更多關(guān)于it工程師要學(xué)什么，進(jìn)入：查看更多內(nèi)容
笨笨的笨笨egg
計(jì)算機(jī)IT培訓(xùn)主要學(xué)技術(shù)，學(xué)符合企業(yè)開發(fā)所需的技術(shù)。參加IT培訓(xùn)是為了能較好且高效的進(jìn)入此行業(yè)，所以若想?yún)⒓覫T培訓(xùn)需要多方了解培訓(xùn)機(jī)構(gòu)的課程，師資、模式、環(huán)境、就業(yè)以及口碑等方向。
崔若若11
一、認(rèn)識(shí)大數(shù)據(jù)大數(shù)據(jù)本質(zhì)其實(shí)也是數(shù)據(jù)，不過也包括了些新的特征，數(shù)據(jù)來源廣;數(shù)據(jù)格式多樣化(結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、Excel文件等);數(shù)據(jù)量大(最少也是TB級(jí)別的、甚至可能是PB級(jí)別);數(shù)據(jù)增長速度快。而針對(duì)以上新的特征需要考慮很多問題：例如，數(shù)據(jù)來源廣，該如何采集匯總?采集匯總之后，又該存儲(chǔ)呢?數(shù)據(jù)存儲(chǔ)之后，該如何通過運(yùn)算轉(zhuǎn)化成自己想要的結(jié)果呢?對(duì)于這些問題，我們需要有相對(duì)應(yīng)的知識(shí)解決。二、大數(shù)據(jù)所需技能要求Python語言：編寫一些腳本時(shí)會(huì)用到。Scala語言：編寫Spark程序的最佳語言，當(dāng)然也可以選擇用Python。Ozzie，azkaban：定時(shí)任務(wù)調(diào)度的工具。Hue，Zepplin：圖形化任務(wù)執(zhí)行管理，結(jié)果查看工具。Allluxio，Kylin等：通過對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行預(yù)處理，加快運(yùn)算速度的工具。必須掌握的技能：、 HBase(、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、輔助小工具(Sqoop/Flume/Oozie/Hue等)
miumiu6571
1.大數(shù)據(jù)架構(gòu)的工具與組件數(shù)據(jù)工程師更關(guān)注分析基礎(chǔ)架構(gòu)，因此所需的大部分技能都是以架構(gòu)為中心的。2.深入了解SQL和其它數(shù)據(jù)庫解決方案數(shù)據(jù)工程師需要對(duì)數(shù)據(jù)庫管理系統(tǒng)有比較熟悉的了解，而且深入了解SQL非常重要。同樣其它數(shù)據(jù)庫解決方案，例如Cassandra或BigTable也須熟悉，因?yàn)椴皇敲總€(gè)數(shù)據(jù)庫都是由可識(shí)別的標(biāo)準(zhǔn)來構(gòu)建。3.數(shù)據(jù)倉庫和ETL工具數(shù)據(jù)倉庫和ETL經(jīng)驗(yàn)對(duì)于數(shù)據(jù)工程師至關(guān)重要。像Redshift或Panoply這樣的數(shù)據(jù)倉庫解決方案，以及ETL工具，比如StitchData或Segment都非常有用。另外，數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)檢索經(jīng)驗(yàn)同樣重要，因?yàn)樘幚淼臄?shù)據(jù)量是個(gè)天文數(shù)字。4.基于Hadoop的分析(HBase，Hive，MapReduce等)對(duì)基于Apache Hadoop的分析有深刻理解是這個(gè)領(lǐng)域的一個(gè)非常必要的需求，一般情況下HBase，Hive和MapReduce的知識(shí)存儲(chǔ)是必需的。5.編碼說到解決方案，編碼與開發(fā)能力是一個(gè)重要的優(yōu)點(diǎn)(這也是許多職位的要求)，你要熟悉Python，C/C++，Java，Perl，Golang或其它語言，這會(huì)非常有價(jià)值。6.機(jī)器學(xué)習(xí)雖然數(shù)據(jù)工程師主要關(guān)注的是數(shù)據(jù)科學(xué)，但對(duì)數(shù)據(jù)處理技術(shù)的理解會(huì)加分，比如一些統(tǒng)計(jì)分析知識(shí)和基礎(chǔ)數(shù)據(jù)建模
優(yōu)質(zhì)工程師考試問答知識(shí)庫