大數(shù)據(jù)工程師的培訓
后海大鯊魚魚
宜木構(gòu)思家具
編程沒有捷徑可言，或許天賦有點作用，但是不堅持長期練習，開發(fā)大腦，是不可能成為高手的。其次，程序語言基本上五花八門，多達上百種，到圖書館看看便知，而且很多軟件自帶就有一種開發(fā)語言，所以一定不可貪多。然后，主流的當然是C系語言，從C到C++到C#或者Java，這是一條基本路線，至于匯編語言除了計算機專業(yè)的人，一般不會去接觸的。接下來講講應(yīng)用范圍：C語言適用于系統(tǒng)開發(fā)，比如操作系統(tǒng)，嵌入式編程，單片機編程等，比較底層；C++適用于大型桌面軟件開發(fā)，幾乎所有的大型桌面軟件都是用C++開發(fā)出來的，由此可見，C++是一個非常強大的語言。C#適用于非計算機專業(yè)，以行業(yè)應(yīng)用為主的人，因為不需要掌握太多的技巧，上手快，很受廣大非計算機專業(yè)的人的歡迎，可以這么說，C#的出現(xiàn)改變了人們對于程序的恐懼，老少皆宜。Java就不用說了，如今風靡全球，適用于網(wǎng)絡(luò)開發(fā)，手機開發(fā)，Java是應(yīng)網(wǎng)絡(luò)時代而生，所以學Java就是學Web開發(fā)，桌面軟件還是C++的江上。，建議學習C++或者Java。
勤添Jacky
大數(shù)據(jù)工程師要學什么課程？沒接觸過大數(shù)據(jù)的人也許不知道大數(shù)據(jù)工程師是什么，更別說知道大數(shù)據(jù)工程師要學什么課程了。我們先來說下大數(shù)據(jù)工程師是做什么的吧。是負責公司互聯(lián)網(wǎng)數(shù)據(jù)分析的一個職位，對數(shù)據(jù)庫進行開發(fā)和(或)維護，需要具備超強的邏輯思維，精通各種語言，需要有相當好的毅力和耐心。光環(huán)大數(shù)據(jù)的大數(shù)據(jù)培訓課程分為如下幾個階段：第一階段：java核心學習學習內(nèi)容：Java核心內(nèi)容學習目標：掌握數(shù)據(jù)類型與運算符，數(shù)組、類與對象；掌握IO流與反射、多線程、JDBC。完成目標：Java多線程模擬多窗口售票，Java集合框架管理。第二階段: JavaEE課程大綱學習內(nèi)容：JavaEE核心內(nèi)容學習目標：Mysql數(shù)據(jù)基礎(chǔ)知識，Jdbc 基礎(chǔ)概念和操作掌握HTML和CSS語法、Java核心語法完成目標：京東電商網(wǎng)站項目、2048小游戲。第三階段：Linux精講學習內(nèi)容：Linux命令、文件、配置，Shell、Awk、Sed學習目標：搭建負載均衡、高可靠的服務(wù)器集群，可大網(wǎng)站并發(fā)訪問量，保證服務(wù)不間斷完成目標：Linux環(huán)境搭建、shell腳本小游戲 貪吃蛇。第四階段：Hadoop生態(tài)體系學習內(nèi)容：HDFS、MapReduce、Hive、Sqoop、Oozie學習目標：掌握HDFS原理、操作和應(yīng)用開發(fā)，掌握分布式運算、Hive數(shù)據(jù)倉庫原理及應(yīng)用。完成目標：微博數(shù)據(jù)大數(shù)據(jù)分析、汽車銷售大數(shù)據(jù)分析第五階段：Storm實時開發(fā)學習內(nèi)容：Zookeeper、HBase、Storm實時數(shù)據(jù)學習目標：掌握Storm程序的開發(fā)及底層原理，具備開發(fā)基于Storm的實時計算程序的能力。完成目標：實時處理新數(shù)據(jù)和更新數(shù)據(jù)庫，處理密集查詢并行搜索處理大集合的數(shù)據(jù)。
水兒依依
第一階段Java語言基礎(chǔ)01Java開發(fā)介紹02熟悉Eclipse開發(fā)工具03Java語言基礎(chǔ)04Java流程控制05Java字符串06Java數(shù)組與類和對象07數(shù)字處理類與核心技術(shù)08I/O與反射、多線程09Swing程序與集合類第二階段HTML、CSS與JavaScript01PC端網(wǎng)站布局02HTML5+CSS3基礎(chǔ)03WebApp頁面布局04原生JavaScript交互功能開發(fā)05Ajax異步交互06JQuery應(yīng)用第三階段JavaWeb和數(shù)據(jù)庫01數(shù)據(jù)庫02JavaWeb開發(fā)核心03JavaWeb開發(fā)內(nèi)幕第四階段Linux基礎(chǔ)01Linux安裝與配置02系統(tǒng)管理與目錄管理03用戶與用戶組管理04Shell編程05服務(wù)器配置06Vi編輯器與Emacs編輯器第五階段Hadoop生態(tài)體系01Hadoop起源與安裝02MapReduce快速入門03Hadoop分布式文件系統(tǒng)04Hadoop文件I/O詳解05MapReduce工作原理06MapReduce編程開發(fā)07Hive數(shù)據(jù)倉庫工具08開源數(shù)據(jù)庫HBase09Sqoop與Oozie第六階段Spark生態(tài)體系01Spark簡介02Spark部署和運行03Spark程序開發(fā)04Spark編程模型05作業(yè)執(zhí)行解析06Spark SQL與DataFrame07深入Spark Streaming08Spark MLlib與機器學習09GraphX與SparkR10spark項目實戰(zhàn)11scala編程12Python編程第七階段Storm實時開發(fā)01storm簡介與基本知識02拓撲詳解與組件詳解03Hadoop分布式系統(tǒng)04spout詳解與bolt詳解05zookeeper詳解06storm安裝與集群搭建07storm-starter詳解08開源數(shù)據(jù)庫HBase09trident詳解第八階段項目案例01模擬雙11購物平臺02前端工程化與模塊化應(yīng)用主要都講這些內(nèi)容！
chetcn0948
參加大數(shù)據(jù)開發(fā)培訓需要什么基礎(chǔ)？想進行大數(shù)據(jù)開發(fā)培訓的人會有這樣的困惑，接下來就來為大家介紹一下，一起來看看吧。1、有大數(shù)據(jù)相關(guān)的基礎(chǔ)科目大數(shù)據(jù)技術(shù)綜合性較強，學習起來有難度。需要有Java、數(shù)學、Linux系統(tǒng)等基礎(chǔ)，如果是計算機相關(guān)專業(yè)、數(shù)學專業(yè)以及統(tǒng)計學專業(yè)的背景當然更好，只要經(jīng)過系統(tǒng)的大數(shù)據(jù)培訓課程，必然會成為一名出色的大數(shù)據(jù)工程師。2、需要有邏輯思維能力大數(shù)據(jù)技術(shù)需要有很強的邏輯思維能力，如果有邏輯思維能力，可以在大數(shù)據(jù)培訓課程的學習中游刃有余。3、基礎(chǔ)弱可以通過努力增強技術(shù)能力如果沒有基礎(chǔ)也可以學習大數(shù)據(jù)，那就要付出比別人多一點的努力?；A(chǔ)不好的話，可以參加大數(shù)據(jù)培訓課程，培訓時間一般在學習3-6個月。大數(shù)據(jù)開發(fā)培訓學什么1、Java語言基礎(chǔ)：JAVA作為編程語言，使用是很廣泛的，大數(shù)據(jù)開發(fā)主要是基于JAVA，作為大數(shù)據(jù)應(yīng)用的開發(fā)語言很合適。Java語言基礎(chǔ)包括Java開發(fā)介紹、Java語言基礎(chǔ)、Eclipse開發(fā)工具等。2、Linux系統(tǒng)和Hadoop生態(tài)體系：大數(shù)據(jù)的開發(fā)的框架是搭建在Linux系統(tǒng)上面的，所以要熟悉Linux開發(fā)環(huán)境。而Hadoop是一個大數(shù)據(jù)的基礎(chǔ)架構(gòu)，它能搭建大型數(shù)據(jù)倉庫，PB級別數(shù)據(jù)的存儲、處理、分析、統(tǒng)計等業(yè)務(wù)。還需要了解數(shù)據(jù)遷移工具Sqoop、Flume分布式日志框架。以上就是為大家介紹了參加大數(shù)據(jù)開發(fā)培訓需要什么基礎(chǔ)？希望對大家有所幫助。
玉江style
1.大數(shù)據(jù)工程師工作中會做什么？集群運維：安裝、測試、運維各種大數(shù)據(jù)組件數(shù)據(jù)開發(fā)：細分一點的話會有ETL工程師、數(shù)據(jù)倉庫工程師等數(shù)據(jù)系統(tǒng)開發(fā)：偏重Web系統(tǒng)開發(fā)，比如報表系統(tǒng)、推薦系統(tǒng)等這里面有很多內(nèi)容其實是十分重合的，下面大致聊一下每一塊內(nèi)容大致需要學什么，以及側(cè)重點。2.集群運維數(shù)據(jù)工程師，基本上是離不開集群搭建，比如hadoop、Spark、Kafka，不要指望有專門的運維幫你搞定，新組件的引入一般都要自己來動手的。因此這就要求數(shù)據(jù)工程師了解各種大數(shù)據(jù)的組件。由于要自己的安裝各種開源的組件，就要求數(shù)據(jù)工程師要具備的能力： Linux 。要對Linux比較熟悉，能各種自己折騰著玩。由于現(xiàn)在的大數(shù)據(jù)生態(tài)系統(tǒng)基本上是 JVM系的，因此在語言上，就不要猶豫了，JVM系的Java和Scala基本上跑不掉，Java基本上要學的很深，Scala就看情況了。3. ETLETL在大數(shù)據(jù)領(lǐng)域主要體現(xiàn)在各種數(shù)據(jù)流的處理。這一塊一方面體現(xiàn)在對一些組件的了解上，比如Sqoop、Flume、Kafka、Spark、MapReduce;另一方面就是編程語言的需要，Java、Shell和Sql是基本功。4.系統(tǒng)開發(fā)我們大部分的價值最后都會由系統(tǒng)來體現(xiàn)，比如報表系統(tǒng)和推薦系統(tǒng)。因此就要求有一定的系統(tǒng)開發(fā)能力，最常用的就是 Java Web這一套了，當然Python也是挺方便的。需要注意的是，一般數(shù)據(jù)開發(fā)跑不掉的就是各種提數(shù)據(jù)的需求，很多是臨時和定制的需求，這種情況下， Sql就跑不掉了，老老實實學一下Sql很必要。如何入門？前面提到了一些數(shù)據(jù)工程師會用到的技能樹，下面給一個入門的建議，完全個人意見。1.了解行業(yè)情況剛開始一定要了解清楚自己和行業(yè)的情況，很多人根本就分不清招聘信息中的大數(shù)據(jù)和數(shù)據(jù)挖掘的區(qū)別就說自己要轉(zhuǎn)行，其實是很不負責的。不要總是趕熱點，反正我就是經(jīng)常被鄙視做什么大數(shù)據(jù)開發(fā)太Low，做數(shù)據(jù)就要做數(shù)據(jù)挖掘，不然永遠都是水貨。2.選擇學習途徑如果真是清楚自己明確地想轉(zhuǎn)數(shù)據(jù)開發(fā)了，要考慮一下自己的時間和精力，能拿出來多少時間，而且在學習的時候最好有人能多指點下，不然太容易走彎路了。在選擇具體的學習途徑時，要慎重一點，有幾個選擇：自學報班找人指點別的不說了，報班是可以考慮的，不要全指望報個輔導班就能帶你上天，但是可以靠他幫你梳理思路。如果有專業(yè)從事這一行的人多幫幫的話，是最好的。不一定是技術(shù)好，主要是可溝通性強。3.學習路線學習路線，下面是一個大致的建議：第一階段先具備一定的Linux和Java的基礎(chǔ)，不一定要特別深，先能玩起來，Linux的話能自己執(zhí)行各種操作，Java能寫點小程序。這些事為搭建Hadoop環(huán)境做準備。學習Hadoop，學會搭建單機版的Hadoop，然后是分布式的Hadoop，寫一些MR的程序。接著學學Hadoop生態(tài)系統(tǒng)的其它大數(shù)據(jù)組件，比如Spark、Hive、Hbase，嘗試去搭建然后跑一些官網(wǎng)的Demo。Linux、Java、各種組件都有一些基礎(chǔ)后，要有一些項目方面的實踐，這時候找一些成功案例，比如搜搜各種視頻教程中如何搞一個推薦系統(tǒng)，把自己學到的用起來。第二階段到這里是一個基本的階段了，大致對數(shù)據(jù)開發(fā)有一些了解了。接著要有一些有意思內(nèi)容可以選學。數(shù)據(jù)倉庫體系：如何搞數(shù)據(jù)分層，數(shù)據(jù)倉庫體系該如何建設(shè)，可以有一些大致的了解。用戶畫像和特征工程：這一部分越早了解越好。一些系統(tǒng)的實現(xiàn)思路：比如調(diào)度系統(tǒng)、元數(shù)據(jù)系統(tǒng)、推薦系統(tǒng)這些系統(tǒng)如何實現(xiàn)。第三階段下面要有一些細分的領(lǐng)域需要深入進行，看工作和興趣來選擇一些來深入進行分布式理論：比如Gossip、DHT、Paxo這些構(gòu)成了各種分布式系統(tǒng)的底層協(xié)議和算法，還是要學一下的。數(shù)據(jù)挖掘算法：算法是要學的，但是不一定純理論，在分布式環(huán)境中實現(xiàn)算法，本身就是一個大的挑戰(zhàn)。各種系統(tǒng)的源碼學習：比如Hadoop、Spark、Kafka的源碼，想深入搞大數(shù)據(jù)，源碼跑不掉。
優(yōu)質(zhì)工程師考試問答知識庫
