數(shù)據(jù)工程師培訓(xùn)方案
我是梅干啊
LiangJin0727
大數(shù)據(jù)是眾多學(xué)科與統(tǒng)計(jì)學(xué)交叉產(chǎn)生的一門新興學(xué)科。大數(shù)據(jù)牽扯的數(shù)據(jù)挖掘、云計(jì)算一類的，所以是計(jì)算機(jī)一類的專業(yè)。分布比較廣，應(yīng)用行業(yè)較多。
零售業(yè)：主要集中在客戶營(yíng)銷分析上，通過(guò)大數(shù)據(jù)技術(shù)可以對(duì)客戶的消費(fèi)信息進(jìn)行分析。獲知客戶的消費(fèi)習(xí)慣、消費(fèi)方向等，以便商場(chǎng)做好更合理商品、貨架擺放，規(guī)劃市場(chǎng)營(yíng)銷方案、產(chǎn)品推薦手段等。
金融業(yè)：在金融行業(yè)里頭，數(shù)據(jù)即是生命，其信息系統(tǒng)中積累了大量客戶的交易數(shù)據(jù)。通過(guò)大數(shù)據(jù)可以對(duì)客戶的行為進(jìn)行分析、防堵詐騙、金融風(fēng)險(xiǎn)分析等。
醫(yī)療業(yè)：通過(guò)大數(shù)據(jù)可以輔助分析疫情信息，對(duì)應(yīng)做出相應(yīng)的防控措施。對(duì)人體健康的趨勢(shì)分析在電子病歷、醫(yī)學(xué)研發(fā)和臨床試驗(yàn)中，可提高診斷準(zhǔn)確性和藥物有效性等。
制造業(yè)：該行業(yè)對(duì)大數(shù)據(jù)的需求主要體現(xiàn)在產(chǎn)品研發(fā)與設(shè)計(jì)、供應(yīng)鏈管理、生產(chǎn)、售后服務(wù)等。通過(guò)數(shù)據(jù)分析，在產(chǎn)品研發(fā)過(guò)程中免除掉一些不必要的步驟，并且及時(shí)改善產(chǎn)品的制造與組裝的流程。
我叫鑫小鑫
大數(shù)據(jù)前景是很不錯(cuò)的，像大數(shù)據(jù)這樣的專業(yè)還是一線城市比較好，師資力量跟得上、就業(yè)的薪資也是可觀的，學(xué)習(xí)大數(shù)據(jù)可以按照路線圖的順序，
學(xué)大數(shù)據(jù)關(guān)鍵是找到靠譜的大數(shù)據(jù)培訓(xùn)機(jī)構(gòu)，你可以深度了解機(jī)構(gòu)的口碑情況，問(wèn)問(wèn)周圍知道這家機(jī)構(gòu)的人，除了口碑再了解機(jī)構(gòu)的以下幾方面：
1.?師資力量雄厚
要想有1+1>2的實(shí)際效果，很關(guān)鍵的一點(diǎn)是師資隊(duì)伍，你接下來(lái)無(wú)論是找個(gè)工作還是工作中出任哪些的人物角色，都越來(lái)越愛(ài)你本身的技術(shù)專業(yè)大數(shù)據(jù)技術(shù)性，也許的技術(shù)專業(yè)大數(shù)據(jù)技術(shù)性則絕大多數(shù)來(lái)自你的技術(shù)專業(yè)大數(shù)據(jù)教師，一個(gè)好的大數(shù)據(jù)培訓(xùn)機(jī)構(gòu)必須具備雄厚的師資力量。
2. 就業(yè)保障完善
實(shí)現(xiàn)1+1>2效果的關(guān)鍵在于能夠?yàn)槟闾峁┝己玫陌l(fā)展平臺(tái)，即能夠?yàn)槟闾峁┝己玫木蜆I(yè)保障，讓學(xué)員能夠?qū)W到實(shí)在實(shí)在的知識(shí)，并向大數(shù)據(jù)學(xué)員提供一對(duì)一的就業(yè)指導(dǎo)，確保學(xué)員找到自己的心理工作。
3. 學(xué)費(fèi)性價(jià)比高
一個(gè)好的大數(shù)據(jù)培訓(xùn)機(jī)構(gòu)肯定能給你帶來(lái)1+1>2的效果，如果你在一個(gè)由專業(yè)的大數(shù)據(jù)教師領(lǐng)導(dǎo)并由大數(shù)據(jù)培訓(xùn)機(jī)構(gòu)自己提供的平臺(tái)上工作，你將獲得比以往更多的投資。
希望你早日學(xué)有所成。
qianmian1015
1. 第一階段(一般崗位叫數(shù)據(jù)專員)
基本學(xué)會(huì)excel(VBA最好學(xué)會(huì);會(huì)做透視表;熟練用篩選、排序、公式)，做好PPT。這樣很多傳統(tǒng)公司的數(shù)據(jù)專員已經(jīng)可以做了
2. 第二階段(數(shù)據(jù)專員~數(shù)據(jù)分析師)
這一階段要會(huì)SQL，懂業(yè)務(wù)，加上第一階段的那些東西。大多數(shù)傳統(tǒng)公司和互聯(lián)網(wǎng)小運(yùn)營(yíng)、產(chǎn)品團(tuán)隊(duì)夠用了。
3. 第三階段(數(shù)據(jù)分析師)
統(tǒng)計(jì)學(xué)熟練(回歸、假設(shè)檢驗(yàn)、時(shí)間序列、簡(jiǎn)單蒙特卡羅)，可視化，PPT和excel一定要溜。這些技術(shù)就夠了，能應(yīng)付大多數(shù)傳統(tǒng)公司業(yè)務(wù)和互聯(lián)網(wǎng)業(yè)務(wù)。
4. 第四階段(分裂)
數(shù)據(jù)分析師(數(shù)據(jù)科學(xué)家)、BI等：這部分一般是精進(jìn)統(tǒng)計(jì)學(xué)，熟悉業(yè)務(wù)，機(jī)器學(xué)習(xí)會(huì)使用(調(diào)參+選模型+優(yōu)化)，取數(shù)、ETL、可視化啥的都是基本姿態(tài)。
可視化工程師：這部分國(guó)內(nèi)比較少，其實(shí)偏重前端，會(huì)high charts，, 。技術(shù)發(fā)展路線可以獨(dú)立，不在這四階段，可能前端轉(zhuǎn)行更好。
ETL工程師：顧名思義，做ETL的。
大數(shù)據(jù)工程師：熟悉大數(shù)據(jù)技術(shù)，hadoop系二代。
數(shù)據(jù)工程師(一部分和數(shù)據(jù)挖掘工程師重合)：機(jī)器學(xué)習(xí)精通級(jí)別(往往是幾種，不用擔(dān)心不是全部，和數(shù)據(jù)分析師側(cè)重點(diǎn)不同，更需要了解組合模型，理論基礎(chǔ))，會(huì)組合模型形成數(shù)據(jù)產(chǎn)品;計(jì)算機(jī)基本知識(shí)(包括linux知識(shí)、軟件工程等);各類數(shù)據(jù)庫(kù)(RDBMS、NoSQL(4大類))
數(shù)據(jù)挖掘：和上基本相同。
爬蟲工程師：顧名思義，最好http協(xié)議、tcp/ip協(xié)議熟悉。技術(shù)發(fā)展路線可以獨(dú)立，不在這四階段
發(fā)現(xiàn)回答的有點(diǎn)文不對(duì)題額，不過(guò)大致是所有從底層數(shù)據(jù)工作者往上發(fā)展的基本路徑。往數(shù)據(jù)發(fā)展的基本學(xué)習(xí)路徑可以概括為以下內(nèi)容：
1. EXCEL、PPT(必須精通)
數(shù)據(jù)工作者的基本姿態(tài)，話說(shuō)本人技術(shù)并不是很好，但是起碼會(huì)操作;要會(huì)大膽秀自己，和業(yè)務(wù)部門交流需求，展示分析結(jié)果。技術(shù)上回VBA和數(shù)據(jù)透視就到頂了。
2. 數(shù)據(jù)庫(kù)類(必須學(xué))
初級(jí)只要會(huì)RDBMS就行了，看公司用哪個(gè)，用哪個(gè)學(xué)哪個(gè)。沒(méi)進(jìn)公司就學(xué)MySQL吧。
NoSQL可以在之后和統(tǒng)計(jì)學(xué)啥的一起學(xué)。基本的NoSQL血MongoDB和Redis(緩存，嚴(yán)格意義上不算數(shù)據(jù)庫(kù))，然后(選學(xué))可以了解各類NoSQL，基于圖的數(shù)據(jù)庫(kù)Neo4j，基于Column的數(shù)據(jù)庫(kù)BigTable，基于key-value的數(shù)據(jù)庫(kù)redis/cassendra，基于collection的數(shù)據(jù)庫(kù)MongoDB。
3. 統(tǒng)計(jì)學(xué)(必須學(xué))
如果要學(xué)統(tǒng)計(jì)學(xué)，重要概念是會(huì)描述性統(tǒng)計(jì)、假設(shè)檢驗(yàn)、貝葉斯、極大似然法、回歸(特別是廣義線性回歸)、主成分分析。這些個(gè)用的比較多。也有學(xué)時(shí)間序列、bootstrap、非參之類的，這個(gè)看自己的意愿。
其他數(shù)學(xué)知識(shí)：線性代數(shù)常用(是很多后面的基礎(chǔ))，微積分不常用，動(dòng)力系統(tǒng)、傅里葉分析看自己想進(jìn)的行業(yè)了。
4. 機(jī)器學(xué)習(xí)(數(shù)據(jù)分析師要求會(huì)選、用、調(diào))
常用的是幾個(gè)線性分類器、聚類、回歸、隨機(jī)森林、貝葉斯;不常用的也稍微了解一下;深度學(xué)習(xí)視情況學(xué)習(xí)。
5. 大數(shù)據(jù)(選學(xué)，有公司要求的話會(huì)用即可，不要求會(huì)搭環(huán)境)
hadoop基礎(chǔ)，包括hdfs、map-reduce、hive之類;后面接觸spark和storm再說(shuō)了。
6. 文本類(選學(xué)，有公司要求的話會(huì)用即可)
這部分不熟，基本要知道次感化、分詞、情感分析啥的。
7. 工具類
語(yǔ)言：非大數(shù)據(jù)類R、Python最多(比較geek的也有用julia的，不差錢和某些公司要求的用SAS、Matlab);大數(shù)據(jù)可能還會(huì)用到scala和java。
小兔子lucky
首先，必須明白數(shù)值分析的用途。通常所學(xué)的其他數(shù)學(xué)類學(xué)科都是由公式定理開(kāi)始，從研究他們的定義，性質(zhì)再到證明與應(yīng)用。但實(shí)際上，尤其是工程，物理，化學(xué)等其它具體的學(xué)科。往往你拿到手的只是通過(guò)實(shí)驗(yàn)得到的數(shù)據(jù)。如果是驗(yàn)證性試驗(yàn)，需要代回到公式進(jìn)行分析，驗(yàn)證。但往往更多面對(duì)的是研究性或試探性試驗(yàn)，無(wú)具體公式定理可代。那就必須通過(guò)插值，擬合等計(jì)算方法進(jìn)行數(shù)據(jù)處理以得到一個(gè)相對(duì)可用的一般公式。還有許多計(jì)算公式理論上非常復(fù)雜，在工程中不實(shí)用，所以必須根據(jù)實(shí)際情況把它轉(zhuǎn)化成多項(xiàng)式近似表示。這都是數(shù)值分析的任務(wù)。學(xué)習(xí)數(shù)值分析，不應(yīng)盲目記公式，因?yàn)楣峦ǔ：荛L(zhǎng)且很乏味。我個(gè)人認(rèn)為，應(yīng)從公式所面臨的問(wèn)題以及用途出發(fā)。比如插值方法，就是就是把實(shí)驗(yàn)所得的數(shù)據(jù)看成是公式的解（好比函數(shù)圖像上的各個(gè)點(diǎn)），由這些解反推出一個(gè)近似公式，可以具有局部一般性。再比如說(shuō)擬合，在插值的基礎(chǔ)上考慮實(shí)驗(yàn)誤差，通過(guò)擬合能將誤差盡可能縮小，之后目的也是得到一個(gè)具有一定條件下的一般性的公式。好好學(xué)吧，數(shù)值分析挺實(shí)用，與數(shù)學(xué)建模一起構(gòu)成數(shù)學(xué)學(xué)科中最實(shí)用的兩門學(xué)科，在工程，經(jīng)濟(jì)等許多鄰域都有廣泛的用途。
獨(dú)角獸z
數(shù)據(jù)分析工程師+培訓(xùn)?結(jié)構(gòu)介紹如下：
了解數(shù)據(jù)采集的意義在于真正了解數(shù)據(jù)的原始面貌，包括數(shù)據(jù)產(chǎn)生的時(shí)間、條件、格式、內(nèi)容、長(zhǎng)度、限制條件等。這會(huì)幫助數(shù)據(jù)分析師更有針對(duì)性的控制數(shù)據(jù)生產(chǎn)和采集過(guò)程，避免由于違反數(shù)據(jù)采集規(guī)則導(dǎo)致的數(shù)據(jù)問(wèn)題；同時(shí)，對(duì)數(shù)據(jù)采集邏輯的認(rèn)識(shí)增加了數(shù)據(jù)分析師對(duì)數(shù)據(jù)的理解程度，尤其是數(shù)據(jù)中的異常變化。
Omniture中的Prop變量長(zhǎng)度只有100個(gè)字符，在數(shù)據(jù)采集部署過(guò)程中就不能把含有大量中文描述的文字賦值給Prop變量（超過(guò)的字符會(huì)被截?cái)啵?/p>
在Webtrekk323之前的Pixel版本，單條信息默認(rèn)最多只能發(fā)送不超過(guò)2K的數(shù)據(jù)。當(dāng)頁(yè)面含有過(guò)多變量或變量長(zhǎng)度有超出限定的情況下，在保持?jǐn)?shù)據(jù)收集的需求下，通常的解決方案是采用多個(gè)sendinfo方法分條發(fā)送；而在325之后的Pixel版本，單條信息默認(rèn)最多可以發(fā)送7K數(shù)據(jù)量，非常方便的解決了代碼部署中單條信息過(guò)載的問(wèn)題。
當(dāng)用戶在離線狀態(tài)下使用APP時(shí)，數(shù)據(jù)由于無(wú)法聯(lián)網(wǎng)而發(fā)出，導(dǎo)致正常時(shí)間內(nèi)的數(shù)據(jù)統(tǒng)計(jì)分析延遲。直到該設(shè)備下次聯(lián)網(wǎng)時(shí)，數(shù)據(jù)才能被發(fā)出并歸入當(dāng)時(shí)的時(shí)間。這就產(chǎn)生了不同時(shí)間看相同歷史時(shí)間的數(shù)據(jù)時(shí)會(huì)發(fā)生數(shù)據(jù)有出入。
在數(shù)據(jù)采集階段，數(shù)據(jù)分析師需要更多的了解數(shù)據(jù)生產(chǎn)和采集過(guò)程中的異常情況，如此才能更好的追本溯源。另外，這也能很大程度上避免“垃圾數(shù)據(jù)進(jìn)導(dǎo)致垃圾數(shù)據(jù)出”的問(wèn)題。
花輪小丸子
. 第一階段（一般崗位叫數(shù)據(jù)專員）基本學(xué)會(huì)excel（VBA最好學(xué)會(huì)；會(huì)做透視表；熟練用篩選、排序、公式），做好PPT。這樣很多傳統(tǒng)公司的數(shù)據(jù)專員已經(jīng)可以做了2. 第二階段（數(shù)據(jù)專員~數(shù)據(jù)分析師）這一階段要會(huì)SQL，懂業(yè)務(wù)，加上第一階段的那些東西。大多數(shù)傳統(tǒng)公司和互聯(lián)網(wǎng)小運(yùn)營(yíng)、產(chǎn)品團(tuán)隊(duì)夠用了。
優(yōu)質(zhì)工程師考試問(wèn)答知識(shí)庫(kù)