數(shù)據(jù)工程師都做什么？數(shù)據(jù)工程師負(fù)責(zé)創(chuàng)建和維護(hù)分析基礎(chǔ)架構(gòu)，該基礎(chǔ)架構(gòu)幾乎可以支持?jǐn)?shù)據(jù)世界中的所有其他功能。他們負(fù)責(zé)大數(shù)據(jù)架構(gòu)的開發(fā)、構(gòu)建、維護(hù)和測(cè)試，例如數(shù)據(jù)庫和大數(shù)據(jù)處理系統(tǒng)。大數(shù)據(jù)工程師還負(fù)責(zé)創(chuàng)建用于建模，挖掘，獲取和驗(yàn)證數(shù)據(jù)集合等流程。數(shù)據(jù)工程師的關(guān)鍵技能下面介紹數(shù)據(jù)工程師所需的幾項(xiàng)關(guān)鍵技能。1.大數(shù)據(jù)架構(gòu)的工具與組件數(shù)據(jù)工程師更關(guān)注分析基礎(chǔ)架構(gòu)，因此所需的大部分技能都是以架構(gòu)為中心的。2.深入了解SQL和其它數(shù)據(jù)庫解決方案數(shù)據(jù)工程師需要熟悉數(shù)據(jù)庫管理系統(tǒng)，深入了解SQL至關(guān)重要。同樣其它數(shù)據(jù)庫解決方案，例如Cassandra或BigTable也須熟悉，因?yàn)椴皇敲總€(gè)數(shù)據(jù)庫都是由可識(shí)別的標(biāo)準(zhǔn)來構(gòu)建。3.數(shù)據(jù)倉庫和ETL工具數(shù)據(jù)倉庫和ETL經(jīng)驗(yàn)對(duì)于數(shù)據(jù)工程師至關(guān)重要。像Redshift或Panoply這樣的數(shù)據(jù)倉庫解決方案，以及ETL工具，比如StitchData或Segment都非常有用。此外，數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)檢索經(jīng)驗(yàn)同樣重要，因?yàn)樘幚淼臄?shù)據(jù)量是個(gè)天文數(shù)字。4.基于Hadoop的分析（HBase，Hive，MapReduce等）對(duì)基于Apache Hadoop的分析有深刻理解是這個(gè)領(lǐng)域的一個(gè)非常必要的需求，一般情況下HBase，Hive和MapReduce的知識(shí)存儲(chǔ)是必需的。5.編碼說到解決方案，編碼與開發(fā)能力是一個(gè)重要的優(yōu)點(diǎn)（這也是許多職位的要求），你要熟悉Python，C/C++，Java，Perl，Golang或其它語言，這會(huì)非常有價(jià)值。6.機(jī)器學(xué)習(xí)雖然數(shù)據(jù)工程師主要關(guān)注的是數(shù)據(jù)科學(xué)，但對(duì)數(shù)據(jù)處理技術(shù)的理解會(huì)加分，比如一些統(tǒng)計(jì)分析知識(shí)和基礎(chǔ)數(shù)據(jù)建模。機(jī)器學(xué)習(xí)已經(jīng)成為標(biāo)準(zhǔn)數(shù)據(jù)科學(xué)，該領(lǐng)域的知識(shí)可以幫我們構(gòu)建同類產(chǎn)品的解決方案。這種知識(shí)還有一個(gè)好處，就是讓你在這個(gè)領(lǐng)域極具市場(chǎng)價(jià)值，因?yàn)樵谶@種情況下能夠“戴上兩頂帽子”會(huì)讓你成為一個(gè)更強(qiáng)大的工具。7.多種操作系統(tǒng)最后，需要我們對(duì)Unix，Linux和Solaris系統(tǒng)有深入了解，許多數(shù)學(xué)工具基于這些操作系統(tǒng)，因?yàn)樗鼈冇蠾indows和Mac系統(tǒng)功能沒有的訪問權(quán)限和特殊硬件需求。