etl工程師的發(fā)展前景
楓糖17蘋果派
shuixinggege
大數(shù)據(jù)就業(yè)前景伴隨著大數(shù)據(jù)技術(shù)的成熟，大數(shù)據(jù)應(yīng)用的普及和發(fā)展才剛剛開始，我們預(yù)計(jì)未來二十年，甚至更長(zhǎng)一段時(shí)間都是大數(shù)據(jù)黃金發(fā)展階段，相關(guān)的行業(yè)將引來巨大的發(fā)展機(jī)遇。大部分行業(yè)都需要，市場(chǎng)、營(yíng)銷、運(yùn)營(yíng)相關(guān)的需求很多。大數(shù)據(jù)不是職位，學(xué)完大數(shù)據(jù)認(rèn)證后你可以從事大數(shù)據(jù)挖掘?qū)＜?，高?jí)行業(yè)分析師，大數(shù)據(jù)業(yè)務(wù)架構(gòu)師，大數(shù)據(jù)架構(gòu)師，大數(shù)據(jù)算法工程師，大數(shù)據(jù)開發(fā)工程師，大數(shù)據(jù)運(yùn)維工程師。不管是國(guó)內(nèi)還是國(guó)外，大數(shù)據(jù)相關(guān)的人才都是供不應(yīng)求的局面。目前市場(chǎng)急需運(yùn)用大數(shù)據(jù)分析結(jié)果的大數(shù)據(jù)相關(guān)管理人才。據(jù)數(shù)聯(lián)尋英發(fā)布《大數(shù)據(jù)人才報(bào)告》顯示，目前全國(guó)的大數(shù)據(jù)人才僅46萬，未來3-5年內(nèi)大數(shù)據(jù)人才的缺口將高達(dá)150萬。據(jù)職業(yè)社交平臺(tái)LinkedIn發(fā)布的《2016年中國(guó)互聯(lián)網(wǎng)最熱職位人才報(bào)告》顯示，研發(fā)工程師、產(chǎn)品經(jīng)理、人力資源、市場(chǎng)營(yíng)銷、運(yùn)營(yíng)和數(shù)據(jù)分析是當(dāng)下中國(guó)互聯(lián)網(wǎng)行業(yè)需求最旺盛的六類人才職位。其中研發(fā)工程師需求量最大，而數(shù)據(jù)分析人才最為稀缺。領(lǐng)英報(bào)告表明，數(shù)據(jù)分析人才的供給指數(shù)最低，僅為，屬于高度稀缺。數(shù)據(jù)分析人才跳槽速度也最快，平均跳槽速度為個(gè)月。根據(jù)中國(guó)商業(yè)聯(lián)合會(huì)數(shù)據(jù)分析專業(yè)委員會(huì)統(tǒng)計(jì)，未來中國(guó)基礎(chǔ)性數(shù)據(jù)分析人才缺口將達(dá)到1400萬，而在BAT企業(yè)招聘的職位里，60%以上都在招大數(shù)據(jù)人才。大數(shù)據(jù)就業(yè)方向1. Hadoop大數(shù)據(jù)開發(fā)方向市場(chǎng)需求旺盛，大數(shù)據(jù)培訓(xùn)的主體，目前IT培訓(xùn)機(jī)構(gòu)的重點(diǎn)。對(duì)應(yīng)崗位：大數(shù)據(jù)開發(fā)工程師、爬蟲工程師、數(shù)據(jù)分析師等。2. 數(shù)據(jù)挖掘、數(shù)據(jù)分析&機(jī)器學(xué)習(xí)方向?qū)W習(xí)起點(diǎn)高、難度大，市面上只有很少的培訓(xùn)機(jī)構(gòu)在做。對(duì)應(yīng)崗位：數(shù)據(jù)科學(xué)家、數(shù)據(jù)挖掘工程師、機(jī)器學(xué)習(xí)工程師等。3. 大數(shù)據(jù)運(yùn)維&云計(jì)算方向市場(chǎng)需求中等，更偏向于Linux、云計(jì)算學(xué)科。對(duì)應(yīng)崗位：大數(shù)據(jù)運(yùn)維工程師
加油嘴饞的我
ETL工程師又叫數(shù)據(jù)庫工程師。
ETL工程師的主要工作內(nèi)容有：從事系統(tǒng)編程、數(shù)據(jù)庫編程與設(shè)計(jì)。ETL是數(shù)據(jù)倉庫中的非常重要的一環(huán)。它是承前啟后的必要的一步。相對(duì)于關(guān)系數(shù)據(jù)庫，數(shù)據(jù)倉庫技術(shù)沒有嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)，它更面向?qū)嶋H工程應(yīng)用。
所以從工程應(yīng)用的角度來考慮，按著物理數(shù)據(jù)模型的要求加載數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行一些系列處理，處理過程與經(jīng)驗(yàn)直接相關(guān)，同時(shí)這部分的工作直接關(guān)系數(shù)據(jù)倉庫中數(shù)據(jù)的質(zhì)量，從而影響到聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘的結(jié)果的質(zhì)量。
職業(yè)前景
從業(yè)務(wù)角度講，隨著數(shù)據(jù)應(yīng)用的日益豐富，不同平臺(tái)、系統(tǒng)的相互大批量數(shù)據(jù)交互成常態(tài)，僅僅滿足于采集數(shù)據(jù)已經(jīng)不適應(yīng)業(yè)務(wù)需要，還需要能夠?yàn)閿?shù)據(jù)的目的端落地提供支撐，ETL工程師需要一個(gè)端到端的更適應(yīng)業(yè)務(wù)需要的數(shù)據(jù)交換系統(tǒng)。
從技術(shù)角度講，ETL做一定的擴(kuò)展可以升級(jí)為兼具交換能力，兩者有傳承，可以實(shí)現(xiàn)平滑過渡，但交換卻要考慮用另一個(gè)工具實(shí)現(xiàn)，同時(shí)未來大數(shù)據(jù)平臺(tái)組件將異常豐富，相互之間的數(shù)據(jù)交換將是常態(tài)，必要要有更高級(jí)別的交換工具滿足這些需求。
優(yōu)質(zhì)工程師考試問答知識(shí)庫