黔江大數(shù)據(jù)工程師培訓(xùn)課程
蚊蚊mandy
leemary6401
大數(shù)據(jù)工程師培訓(xùn)課程有哪些?目前大數(shù)據(jù)基礎(chǔ)課程需要學(xué)習(xí)Web標(biāo)準(zhǔn)化網(wǎng)頁制作，必備的HTML標(biāo)記和屬性、HTML表格、表單的設(shè)計與制作、學(xué)習(xí)CSS、豐富HTML網(wǎng)頁的樣式、通過CSS布局和定位的學(xué)習(xí)、讓HTML頁面布局更加美觀、 ... 大數(shù)據(jù)工程師培訓(xùn)課程有哪些?目前大數(shù)據(jù)基礎(chǔ)課程需要學(xué)習(xí)Web標(biāo)準(zhǔn)化網(wǎng)頁制作，必備的HTML標(biāo)記和屬性、HTML表格、表單的設(shè)計與制作、學(xué)習(xí)CSS、豐富HTML網(wǎng)頁的樣式、通過CSS布局和定位的學(xué)習(xí)、讓HTML頁面布局更加美觀、復(fù)習(xí)所有知識、完成項目布置等。 除此之外大數(shù)據(jù)工程師培訓(xùn)課程有哪些? 大數(shù)據(jù)工程師培訓(xùn)課程第一部分：大數(shù)據(jù)基礎(chǔ)——java語言基礎(chǔ)方面 1、Java語言基礎(chǔ) Java開發(fā)介紹、熟悉Eclipse開發(fā)工具、Java語言基礎(chǔ)、Java流程控制、Java字符串、Java數(shù)組與類和對象、數(shù)字處理類與核心技術(shù)、I/O與反射、多線程、Swing程序與集合類 2、 HTML、CSS與Java PC端網(wǎng)站布局、HTML5+CSS3基礎(chǔ)、WebApp頁面布局、原生Java交互功能開發(fā)、Ajax異步交互、jQuery應(yīng)用 3、JavaWeb和數(shù)據(jù)庫 數(shù)據(jù)庫、JavaWeb開發(fā)核心、JavaWeb開發(fā)內(nèi)幕 大數(shù)據(jù)工程師培訓(xùn)課程第二部分： Linux&Hadoop生態(tài)體系 Linux體系、Hadoop離線計算大綱、分布式數(shù)據(jù)庫Hbase、數(shù)據(jù)倉庫Hive、數(shù)據(jù)遷移工具Sqoop、Flume分布式日志框架 大數(shù)據(jù)工程師培訓(xùn)課程第三部分：分布式計算框架和Spark&Strom生態(tài)體系 1、分布式計算框架 Python編程語言、Scala編程語言、Spark大數(shù)據(jù)處理、Spark—Streaming大數(shù)據(jù)處理、Spark—Mlib機器學(xué)習(xí)、Spark—GraphX 圖計算、實戰(zhàn)一：基于Spark的推薦系統(tǒng)(某一線公司真實項目)、實戰(zhàn)二：新浪網(wǎng)() 2、storm技術(shù)架構(gòu)體系 Storm原理與基礎(chǔ)、消息隊列kafka、Redis工具、zookeeper詳解、實戰(zhàn)一：日志告警系統(tǒng)項目、實戰(zhàn)二：猜你喜歡推薦系統(tǒng)實戰(zhàn) 大數(shù)據(jù)工程師培訓(xùn)課程第四部分：大數(shù)據(jù)項目實戰(zhàn)(一線公司真實項目) 數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)展現(xiàn)、數(shù)據(jù)應(yīng)用 大數(shù)據(jù)工程師培訓(xùn)課程第五部分：大數(shù)據(jù)分析 —AI(人工智能) Data Analyze工作環(huán)境準(zhǔn)備&數(shù)據(jù)分析基礎(chǔ)、數(shù)據(jù)可視化、Python機器學(xué)習(xí) 1、Python機器學(xué)習(xí)2、圖像識別&神經(jīng)網(wǎng)絡(luò)、自然語言處理&社交網(wǎng)絡(luò)處理、實戰(zhàn)項目：戶外設(shè)備識別分析
chocolate宸
1.大數(shù)據(jù)工程師工作中會做什么？集群運維：安裝、測試、運維各種大數(shù)據(jù)組件數(shù)據(jù)開發(fā)：細(xì)分一點的話會有ETL工程師、數(shù)據(jù)倉庫工程師等數(shù)據(jù)系統(tǒng)開發(fā)：偏重Web系統(tǒng)開發(fā)，比如報表系統(tǒng)、推薦系統(tǒng)等這里面有很多內(nèi)容其實是十分重合的，下面大致聊一下每一塊內(nèi)容大致需要學(xué)什么，以及側(cè)重點。2.集群運維數(shù)據(jù)工程師，基本上是離不開集群搭建，比如hadoop、Spark、Kafka，不要指望有專門的運維幫你搞定，新組件的引入一般都要自己來動手的。因此這就要求數(shù)據(jù)工程師了解各種大數(shù)據(jù)的組件。由于要自己的安裝各種開源的組件，就要求數(shù)據(jù)工程師要具備的能力： Linux 。要對Linux比較熟悉，能各種自己折騰著玩。由于現(xiàn)在的大數(shù)據(jù)生態(tài)系統(tǒng)基本上是 JVM系的，因此在語言上，就不要猶豫了，JVM系的Java和Scala基本上跑不掉，Java基本上要學(xué)的很深，Scala就看情況了。3. ETLETL在大數(shù)據(jù)領(lǐng)域主要體現(xiàn)在各種數(shù)據(jù)流的處理。這一塊一方面體現(xiàn)在對一些組件的了解上，比如Sqoop、Flume、Kafka、Spark、MapReduce;另一方面就是編程語言的需要，Java、Shell和Sql是基本功。4.系統(tǒng)開發(fā)我們大部分的價值最后都會由系統(tǒng)來體現(xiàn)，比如報表系統(tǒng)和推薦系統(tǒng)。因此就要求有一定的系統(tǒng)開發(fā)能力，最常用的就是 Java Web這一套了，當(dāng)然Python也是挺方便的。需要注意的是，一般數(shù)據(jù)開發(fā)跑不掉的就是各種提數(shù)據(jù)的需求，很多是臨時和定制的需求，這種情況下， Sql就跑不掉了，老老實實學(xué)一下Sql很必要。如何入門？前面提到了一些數(shù)據(jù)工程師會用到的技能樹，下面給一個入門的建議，完全個人意見。1.了解行業(yè)情況剛開始一定要了解清楚自己和行業(yè)的情況，很多人根本就分不清招聘信息中的大數(shù)據(jù)和數(shù)據(jù)挖掘的區(qū)別就說自己要轉(zhuǎn)行，其實是很不負(fù)責(zé)的。不要總是趕熱點，反正我就是經(jīng)常被鄙視做什么大數(shù)據(jù)開發(fā)太Low，做數(shù)據(jù)就要做數(shù)據(jù)挖掘，不然永遠(yuǎn)都是水貨。2.選擇學(xué)習(xí)途徑如果真是清楚自己明確地想轉(zhuǎn)數(shù)據(jù)開發(fā)了，要考慮一下自己的時間和精力，能拿出來多少時間，而且在學(xué)習(xí)的時候最好有人能多指點下，不然太容易走彎路了。在選擇具體的學(xué)習(xí)途徑時，要慎重一點，有幾個選擇：自學(xué)報班找人指點別的不說了，報班是可以考慮的，不要全指望報個輔導(dǎo)班就能帶你上天，但是可以靠他幫你梳理思路。如果有專業(yè)從事這一行的人多幫幫的話，是最好的。不一定是技術(shù)好，主要是可溝通性強。3.學(xué)習(xí)路線學(xué)習(xí)路線，下面是一個大致的建議：第一階段先具備一定的Linux和Java的基礎(chǔ)，不一定要特別深，先能玩起來，Linux的話能自己執(zhí)行各種操作，Java能寫點小程序。這些事為搭建Hadoop環(huán)境做準(zhǔn)備。學(xué)習(xí)Hadoop，學(xué)會搭建單機版的Hadoop，然后是分布式的Hadoop，寫一些MR的程序。接著學(xué)學(xué)Hadoop生態(tài)系統(tǒng)的其它大數(shù)據(jù)組件，比如Spark、Hive、Hbase，嘗試去搭建然后跑一些官網(wǎng)的Demo。Linux、Java、各種組件都有一些基礎(chǔ)后，要有一些項目方面的實踐，這時候找一些成功案例，比如搜搜各種視頻教程中如何搞一個推薦系統(tǒng)，把自己學(xué)到的用起來。第二階段到這里是一個基本的階段了，大致對數(shù)據(jù)開發(fā)有一些了解了。接著要有一些有意思內(nèi)容可以選學(xué)。數(shù)據(jù)倉庫體系：如何搞數(shù)據(jù)分層，數(shù)據(jù)倉庫體系該如何建設(shè)，可以有一些大致的了解。用戶畫像和特征工程：這一部分越早了解越好。一些系統(tǒng)的實現(xiàn)思路：比如調(diào)度系統(tǒng)、元數(shù)據(jù)系統(tǒng)、推薦系統(tǒng)這些系統(tǒng)如何實現(xiàn)。第三階段下面要有一些細(xì)分的領(lǐng)域需要深入進行，看工作和興趣來選擇一些來深入進行分布式理論：比如Gossip、DHT、Paxo這些構(gòu)成了各種分布式系統(tǒng)的底層協(xié)議和算法，還是要學(xué)一下的。數(shù)據(jù)挖掘算法：算法是要學(xué)的，但是不一定純理論，在分布式環(huán)境中實現(xiàn)算法，本身就是一個大的挑戰(zhàn)。各種系統(tǒng)的源碼學(xué)習(xí)：比如Hadoop、Spark、Kafka的源碼，想深入搞大數(shù)據(jù)，源碼跑不掉。
sophiabian
你好，大數(shù)據(jù)基礎(chǔ)技術(shù)覆蓋數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、分布式存儲、NOSQL數(shù)據(jù)庫、多模式計算（批處理、在線處理、實時流處理、內(nèi)存處理）、多模態(tài)計算（圖像、文本、視頻、音頻）、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、機器學(xué)習(xí)、人工智能、深度學(xué)習(xí)、并行計算、可視化等各種技術(shù)范疇和不同的層面。另外大數(shù)據(jù)應(yīng)用領(lǐng)域廣泛，各領(lǐng)域采用技術(shù)的差異性還是比較大的。知道魔據(jù)大數(shù)據(jù)從各方面來說都是不錯的，但是學(xué)習(xí)需要自己足夠努力，大數(shù)據(jù)本身就是有點難度，但是只要慢慢熟悉了是沒什么問題的，加油。
謙謙媽媽2015
大大數(shù)據(jù)開發(fā)工程師要學(xué)習(xí)哪些課程大數(shù)據(jù)開發(fā)工程師要學(xué)習(xí)哪些大數(shù)據(jù)開發(fā)工程師要學(xué)習(xí)哪些課程
吃魚的貓g
大數(shù)據(jù)開發(fā)工程師的工作，主要就是負(fù)責(zé)大數(shù)據(jù)處理各個環(huán)節(jié)提供相應(yīng)的支持，包括大數(shù)據(jù)采集、清洗、存儲及管理、分析及挖掘、展現(xiàn)及應(yīng)用等，各個環(huán)節(jié)需要的技術(shù)，都是需要系統(tǒng)化地進行學(xué)習(xí)的。大數(shù)據(jù)開發(fā)工程師學(xué)習(xí)的課程，包括但不限于以下這些：大數(shù)據(jù)技術(shù)棧：Hadoop、Spark、Storm、Flink等；數(shù)據(jù)收集：關(guān)系型數(shù)據(jù)收集工具Sqoop與Canel、非關(guān)系型數(shù)據(jù)收集系統(tǒng)Flume、分布式消息隊列Kafka；數(shù)據(jù)存儲：數(shù)據(jù)存儲格式、分布式文件系統(tǒng)及分布式數(shù)據(jù)庫；資源管理和服務(wù)協(xié)調(diào)：YARN、ZooKeeper；計算引擎：包括批處理、交互式處理，以及流式實時處理三類引擎，內(nèi)容涉及MapReduce、Spark 、Impala/Presto、 Storm 等。
優(yōu)質(zhì)工程師考試問答知識庫