數(shù)據(jù)庫工程師培訓(xùn)課
淡定的機(jī)車
乖乖小貓俠
數(shù)據(jù)庫系統(tǒng)工程師教程——全國計(jì)算機(jī)技術(shù)與軟件專業(yè)技術(shù)資格（水平）考試指定用書數(shù)據(jù)庫系統(tǒng)工程師考試考點(diǎn)分析與真題詳解（最新版）(含光盤1張)主要是要看真題的，要都弄懂。
zenghuo721
簡單來講是學(xué)習(xí)Java、數(shù)據(jù)結(jié)構(gòu)、關(guān)系型數(shù)據(jù)庫、linux系統(tǒng)操作、hadoop離線分析、Storm實(shí)時計(jì)算、spark內(nèi)存計(jì)算以及實(shí)操課程。復(fù)雜的話，就是每個大的知識點(diǎn)里都包含著很多小的知識點(diǎn)，這可以參考（青牛的課程）。
卷毛咕咕
數(shù)據(jù)庫開發(fā)工程師需要學(xué)習(xí)的課程有：
1、計(jì)算機(jī)導(dǎo)論
內(nèi)容提要：為新學(xué)生提供一個關(guān)于計(jì)算機(jī)科學(xué)與技術(shù)學(xué)科的入門介紹，使他們對該學(xué)科有一個整體的認(rèn)識，并了解該專業(yè)的學(xué)生應(yīng)具有的基本知識和技能以及在該領(lǐng)域工作應(yīng)有的職業(yè)道德與應(yīng)遵守的法律準(zhǔn)則。
2、數(shù)字電路與數(shù)字邏輯
內(nèi)容提要：介紹數(shù)字邏輯與數(shù)字系統(tǒng)的基本概念、分析方法和設(shè)計(jì)原理，包括開關(guān)理論基礎(chǔ)、組合邏輯、時序邏輯、可編程邏輯器件、數(shù)字系統(tǒng)等。
3、計(jì)算機(jī)組成原理與匯編語言
內(nèi)容提要：以馮諾依曼計(jì)算機(jī)模型為出發(fā)點(diǎn)，介紹計(jì)算機(jī)的組織結(jié)構(gòu)和工作原理，剖析計(jì)算機(jī)的運(yùn)算器、存儲器、控制器和輸入輸出設(shè)備的結(jié)構(gòu)、工作原理和相互關(guān)系；介紹 80X86指令系統(tǒng)、匯編語言與匯編指令、匯編程序與匯編過程、簡單匯編程序設(shè)計(jì)、匯編語言與高級語言的接口、宏匯編等。
4、計(jì)算機(jī)網(wǎng)絡(luò)
內(nèi)容提要：介紹數(shù)據(jù)通信的基本概念和計(jì)算機(jī)網(wǎng)絡(luò)的基本原理，包括計(jì)算機(jī)網(wǎng)絡(luò)的體系結(jié)構(gòu)、數(shù)據(jù)通信的基本方法和協(xié)議、計(jì)算機(jī)網(wǎng)絡(luò)的主要應(yīng)用協(xié)議；同時介紹計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)的安全和管理知識，使學(xué)生對數(shù)據(jù)通信和計(jì)算機(jī)網(wǎng)絡(luò)有一個全面理解。
5、計(jì)算機(jī)體系結(jié)構(gòu)
內(nèi)容提要：研究計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)的基本概念、基本原理、基本結(jié)構(gòu)和基本分析方法，使同學(xué)在具有一定的軟硬件知識基礎(chǔ)上能綜合認(rèn)識計(jì)算機(jī)系統(tǒng)的軟硬件功能分配與各種不同結(jié)構(gòu)類型機(jī)器的特性和性能評價方法。為研究、開發(fā)、應(yīng)用高級計(jì)算機(jī)系統(tǒng)打下基礎(chǔ)。確立全面、系統(tǒng)的觀點(diǎn)和學(xué)會定量分析問題的方法。
6、離散數(shù)學(xué)
內(nèi)容提要：包括集合論、數(shù)理邏輯、圖論、組合數(shù)學(xué)等內(nèi)容，形式化的數(shù)學(xué)證明貫穿此課程。
7、高級程序設(shè)計(jì)語言
內(nèi)容提要：分別以 C、C#或JAVA為例，介紹程序設(shè)計(jì)和語言，程序的基本數(shù)據(jù)結(jié)構(gòu)、類型定義、簡單類型和結(jié)構(gòu)化類型、程序的基本控制結(jié)構(gòu)、結(jié)構(gòu)化程序設(shè)計(jì)、面向?qū)ο蟮某绦蛟O(shè)計(jì)等。
8、算法分析與設(shè)計(jì)
內(nèi)容提要： 本課程延續(xù)數(shù)據(jù)結(jié)構(gòu)課程的學(xué)習(xí)，從算法分析和設(shè)計(jì)的角度出發(fā)，除去傳統(tǒng)的分類查找算法和一般的設(shè)計(jì)方法外，主要內(nèi)容包括如下幾個部分：算法研究的理論基礎(chǔ)，遞歸分析技術(shù)，基本算法設(shè)計(jì)策略（幾類經(jīng)典算法學(xué)習(xí)）， 多項(xiàng)式運(yùn)算與 FFT ，串匹配，概率分析算法。 希望通過這一課程的學(xué)習(xí)，使學(xué)生能對現(xiàn)代的算法設(shè)計(jì)及分析的基本工具能有較全面的掌握。
9、數(shù)據(jù)結(jié)構(gòu)
內(nèi)容提要：介紹線性表及其鏈接存儲結(jié)構(gòu)與算法、數(shù)組與矩陣、堆棧與隊(duì)列、廣義表的存儲結(jié)構(gòu)與多元多項(xiàng)式表示、串與文本編輯、排序、樹、圖、文件結(jié)構(gòu)。
10、數(shù)據(jù)庫系統(tǒng)原理
內(nèi)容提要：介紹數(shù)據(jù)庫系統(tǒng)的基本概念、原理、方法及應(yīng)用，主要包括數(shù)據(jù)庫系統(tǒng)概論、數(shù)據(jù)庫管理系統(tǒng)實(shí)現(xiàn)技術(shù)、數(shù)據(jù)庫存儲結(jié)構(gòu)及其他類型的數(shù)據(jù)庫系統(tǒng)。
11、編譯技術(shù)
內(nèi)容提要：介紹編譯原理的理論和實(shí)踐，包括編譯程序設(shè)計(jì)、詞法分析、語法分析、符號表、聲明和存儲管理、代碼生成以及優(yōu)化技術(shù)。
12、操作系統(tǒng)
內(nèi)容提要：介紹操作系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，包括操作系統(tǒng)各組成部分的概述、互斥性和同步性、處理器實(shí)現(xiàn)、調(diào)度算法、存儲算法、設(shè)備管理和文件系統(tǒng)。
數(shù)據(jù)庫開發(fā)工程師是指設(shè)計(jì)、開發(fā)、維護(hù)管理大型數(shù)據(jù)庫的專業(yè)人才。
第一類是MySQL，以自由軟件為主，以社團(tuán)式開發(fā)為代表。版本選擇,側(cè)重于在Linux平臺（）。MySQL數(shù)據(jù)庫短小精悍，速度比較快，它是自由軟件產(chǎn)品，現(xiàn)在美國國家航天局的數(shù)據(jù)庫系統(tǒng)就是MySQL。在很多中小型的ICP有著廣泛的應(yīng)用。
第二類是SQL Server 2000，中小型企業(yè)數(shù)據(jù)庫，界面友好，可操作性強(qiáng)，在數(shù)據(jù)庫市場占有很大的份量，SQL Server 2000是企業(yè)產(chǎn)品的代表，定位數(shù)據(jù)庫中低端市場。
第三類是Oracle9i，中大型企業(yè)數(shù)據(jù)庫，跨平臺，在數(shù)據(jù)庫中高市場占有很大的份量，Oracle9i介紹主要是Windows 2000平臺和Linux平臺（）。Oracle9i在金融、電信、銀行有很多經(jīng)典應(yīng)用。
蚊蚊mandy
大大數(shù)據(jù)開發(fā)工程師要學(xué)習(xí)哪些課程大數(shù)據(jù)開發(fā)工程師要學(xué)習(xí)哪些大數(shù)據(jù)開發(fā)工程師要學(xué)習(xí)哪些課程
Arsenalzoe
Sqoop：(發(fā)音：skup)作為一款開源的離線數(shù)據(jù)傳輸工具，主要用于Hadoop(Hive) 與傳統(tǒng)數(shù)據(jù)庫(MySql,PostgreSQL)間的數(shù)據(jù)傳遞。它可以將一個關(guān)系數(shù)據(jù)庫中數(shù)據(jù)導(dǎo)入Hadoop的HDFS中，也可以將HDFS中的數(shù)據(jù)導(dǎo)入關(guān)系型數(shù)據(jù)庫中。
Flume：實(shí)時數(shù)據(jù)采集的一個開源框架，它是Cloudera提供的一個高可用用的、高可靠、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。目前已經(jīng)是Apache的頂級子項(xiàng)目。使用Flume可以收集諸如日志、時間等數(shù)據(jù)并將這些數(shù)據(jù)集中存儲起來供下游使用(尤其是數(shù)據(jù)流框架，例如Storm)。和Flume類似的另一個框架是Scribe(FaceBook開源的日志收集系統(tǒng)，它為日志的分布式收集、統(tǒng)一處理提供一個可擴(kuò)展的、高容錯的簡單方案)大數(shù)據(jù)分析培訓(xùn)課程內(nèi)容有哪些
Kafka：通常來說Flume采集數(shù)據(jù)的速度和下游處理的速度通常不同步，因此實(shí)時平臺架構(gòu)都會用一個消息中間件來緩沖，而這方面最為流行和應(yīng)用最為廣泛的無疑是Kafka。它是由LinkedIn開發(fā)的一個分布式消息系統(tǒng)，以其可以水平擴(kuò)展和高吞吐率而被廣泛使用。目前主流的開源分布式處理系統(tǒng)(如Storm和Spark等)都支持與Kafka 集成。
Kafka是一個基于分布式的消息發(fā)布-訂閱系統(tǒng)，特點(diǎn)是速度快、可擴(kuò)展且持久。與其他消息發(fā)布-訂閱系統(tǒng)類似，Kafka可在主題中保存消息的信息。生產(chǎn)者向主題寫入數(shù)據(jù)，消費(fèi)者從主題中讀取數(shù)據(jù)。淺析大數(shù)據(jù)分析技術(shù)
作為一個分布式的、分區(qū)的、低延遲的、冗余的日志提交服務(wù)。和Kafka類似消息中間件開源產(chǎn)品還包括RabbiMQ、ActiveMQ、ZeroMQ等。
MapReduce：MapReduce是Google公司的核心計(jì)算模型，它將運(yùn)行于大規(guī)模集群上的復(fù)雜并行計(jì)算過程高度抽象為兩個函數(shù)：map和reduce。MapReduce最偉大之處在于其將處理大數(shù)據(jù)的能力賦予了普通開發(fā)人員，以至于普通開發(fā)人員即使不會任何的分布式編程知識，也能將自己的程序運(yùn)行在分布式系統(tǒng)上處理海量數(shù)據(jù)。
Hive：MapReduce將處理大數(shù)據(jù)的能力賦予了普通開發(fā)人員，而Hive進(jìn)一步將處理和分析大數(shù)據(jù)的能力賦予了實(shí)際的數(shù)據(jù)使用人員(數(shù)據(jù)開發(fā)工程師、數(shù)據(jù)分析師、算法工程師、和業(yè)務(wù)分析人員)。大數(shù)據(jù)分析培訓(xùn)課程大綱
Hive是由Facebook開發(fā)并貢獻(xiàn)給Hadoop開源社區(qū)的，是一個建立在Hadoop體系結(jié)構(gòu)上的一層SQL抽象。Hive提供了一些對Hadoop文件中數(shù)據(jù)集進(jìn)行處理、查詢、分析的工具。它支持類似于傳統(tǒng)RDBMS的SQL語言的查詢語言，一幫助那些熟悉SQL的用戶處理和查詢Hodoop在的數(shù)據(jù)，該查詢語言稱為Hive SQL。Hive SQL實(shí)際上先被SQL解析器解析，然后被Hive框架解析成一個MapReduce可執(zhí)行計(jì)劃，并按照該計(jì)劃生產(chǎn)MapReduce任務(wù)后交給Hadoop集群處理。
Spark：盡管MapReduce和Hive能完成海量數(shù)據(jù)的大多數(shù)批處理工作，并且在打數(shù)據(jù)時代稱為企業(yè)大數(shù)據(jù)處理的首選技術(shù)，但是其數(shù)據(jù)查詢的延遲一直被詬病，而且也非常不適合迭代計(jì)算和DAG(有限無環(huán)圖)計(jì)算。由于Spark具有可伸縮、基于內(nèi)存計(jì)算能特點(diǎn)，且可以直接讀寫Hadoop上任何格式的數(shù)據(jù)，較好地滿足了數(shù)據(jù)即時查詢和迭代分析的需求，因此變得越來越流行。
Spark是UC Berkeley AMP Lab(加州大學(xué)伯克利分校的 AMP實(shí)驗(yàn)室)所開源的類Hadoop MapReduce的通用并行框架，它擁有Hadoop MapReduce所具有的優(yōu)點(diǎn)，但不同MapReduce的是，Job中間輸出結(jié)果可以保存在內(nèi)存中，從而不需要再讀寫HDFS ，因此能更好適用于數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)等需要迭代的MapReduce算法。
Spark也提供類Live的SQL接口，即Spark SQL，來方便數(shù)據(jù)人員處理和分析數(shù)據(jù)。
Spark還有用于處理實(shí)時數(shù)據(jù)的流計(jì)算框架Spark Streaming,其基本原理是將實(shí)時流數(shù)據(jù)分成小的時間片段(秒或幾百毫秒)，以類似Spark離線批處理的方式來處理這小部分?jǐn)?shù)據(jù)。
Storm：MapReduce、Hive和Spark是離線和準(zhǔn)實(shí)時數(shù)據(jù)處理的主要工具，而Storm是實(shí)時處理數(shù)據(jù)的。
Storm是Twitter開源的一個類似于Hadoop的實(shí)時數(shù)據(jù)處理框架。Storm對于實(shí)時計(jì)算的意義相當(dāng)于Hadoop對于批處理的意義。Hadoop提供了Map和Reduce原語，使對數(shù)據(jù)進(jìn)行批處理變得非常簡單和優(yōu)美。同樣，Storm也對數(shù)據(jù)的實(shí)時計(jì)算提供了簡單的Spout和Bolt原語。Storm集群表面上和Hadoop集群非常像，但是在Hadoop上面運(yùn)行的是MapReduce的Job,而在Storm上面運(yùn)行的是Topology(拓?fù)?。
Storm拓?fù)淙蝿?wù)和Hadoop MapReduce任務(wù)一個非常關(guān)鍵的區(qū)別在于：1個MapReduce Job最終會結(jié)束，而一個Topology永遠(yuǎn)運(yùn)行(除非顯示的殺掉它)，所以實(shí)際上Storm等實(shí)時任務(wù)的資源使用相比離線MapReduce任務(wù)等要大很多，因?yàn)殡x線任務(wù)運(yùn)行完就釋放掉所使用的計(jì)算、內(nèi)存等資源，而Storm等實(shí)時任務(wù)必須一直占有直到被顯式的殺掉。Storm具有低延遲、分布式、可擴(kuò)展、高容錯等特性，可以保證消息不丟失，目前Storm, 類Storm或基于Storm抽象的框架技術(shù)是實(shí)時處理、流處理領(lǐng)域主要采用的技術(shù)。
Flink：在數(shù)據(jù)處理領(lǐng)域，批處理任務(wù)和實(shí)時流計(jì)算任務(wù)一般被認(rèn)為是兩種不同的任務(wù)，一個數(shù)據(jù)項(xiàng)目一般會被設(shè)計(jì)為只能處理其中一種任務(wù)，例如Storm只支持流處理任務(wù)，而MapReduce, Hive只支持批處理任務(wù)。
Apache Flink是一個同時面向分布式實(shí)時流處理和批量數(shù)據(jù)處理的開源數(shù)據(jù)平臺，它能基于同一個Flink運(yùn)行時(Flink Runtime),提供支持流處理和批處理兩種類型應(yīng)用的功能。Flink在實(shí)現(xiàn)流處理和批處理時，與傳統(tǒng)的一些方案完全不同，它從另一個視角看待流處理和批處理，將二者統(tǒng)一起來。Flink完全支持流處理，批處理被作為一種特殊的流處理，只是它的數(shù)據(jù)流被定義為有界的而已。基于同一個Flink運(yùn)行時，F(xiàn)link分別提供了流處理和批處理API，而這兩種API也是實(shí)現(xiàn)上層面向流處理、批處理類型應(yīng)用框架的基礎(chǔ)。大數(shù)據(jù)分析要學(xué)什么
Beam：Google開源的Beam在Flink基礎(chǔ)上更進(jìn)了一步，不但希望統(tǒng)一批處理和流處理，而且希望統(tǒng)一大數(shù)據(jù)處理范式和標(biāo)準(zhǔn)。Apache Beam項(xiàng)目重點(diǎn)在于數(shù)據(jù)處理的的編程范式和接口定義，并不涉及具體執(zhí)行引擎的實(shí)現(xiàn)。Apache Beam希望基于Beam開發(fā)的數(shù)據(jù)處理程序可以執(zhí)行在任意的分布式計(jì)算引擎上。
Apache Beam主要由Beam SDK和Beam Runner組成，Beam SDK定義了開發(fā)分布式數(shù)據(jù)處理任務(wù)業(yè)務(wù)邏輯的API接口，生成的分布式數(shù)據(jù)處理任務(wù)Pipeline交給具體的Beam Runner執(zhí)行引擎。Apache Flink目前支持的API是由Java語言實(shí)現(xiàn)的，它支持的底層執(zhí)行引擎包括Apache Flink、Apache Spark和Google Cloud Flatform。
相關(guān)推薦：
《大數(shù)據(jù)分析方法》、《轉(zhuǎn)行大數(shù)據(jù)分析師后悔了》、《大數(shù)據(jù)分析師工作內(nèi)容》、《學(xué)大數(shù)據(jù)分析培訓(xùn)多少錢》、《大數(shù)據(jù)分析培訓(xùn)課程大綱》、《大數(shù)據(jù)分析培訓(xùn)課程內(nèi)容有哪些》、《大數(shù)據(jù)分析方法》、《大數(shù)據(jù)分析十八般工具》
篠田麻里子
大數(shù)據(jù)工程師要學(xué)什么課程？沒接觸過大數(shù)據(jù)的人也許不知道大數(shù)據(jù)工程師是什么，更別說知道大數(shù)據(jù)工程師要學(xué)什么課程了。我們先來說下大數(shù)據(jù)工程師是做什么的吧。是負(fù)責(zé)公司互聯(lián)網(wǎng)數(shù)據(jù)分析的一個職位，對數(shù)據(jù)庫進(jìn)行開發(fā)和(或)維護(hù)，需要具備超強(qiáng)的邏輯思維，精通各種語言，需要有相當(dāng)好的毅力和耐心。光環(huán)大數(shù)據(jù)的大數(shù)據(jù)培訓(xùn)課程分為如下幾個階段：第一階段：java核心學(xué)習(xí)學(xué)習(xí)內(nèi)容：Java核心內(nèi)容學(xué)習(xí)目標(biāo)：掌握數(shù)據(jù)類型與運(yùn)算符，數(shù)組、類與對象；掌握IO流與反射、多線程、JDBC。完成目標(biāo)：Java多線程模擬多窗口售票，Java集合框架管理。第二階段: JavaEE課程大綱學(xué)習(xí)內(nèi)容：JavaEE核心內(nèi)容學(xué)習(xí)目標(biāo)：Mysql數(shù)據(jù)基礎(chǔ)知識，Jdbc 基礎(chǔ)概念和操作掌握HTML和CSS語法、Java核心語法完成目標(biāo)：京東電商網(wǎng)站項(xiàng)目、2048小游戲。第三階段：Linux精講學(xué)習(xí)內(nèi)容：Linux命令、文件、配置，Shell、Awk、Sed學(xué)習(xí)目標(biāo)：搭建負(fù)載均衡、高可靠的服務(wù)器集群，可大網(wǎng)站并發(fā)訪問量，保證服務(wù)不間斷完成目標(biāo)：Linux環(huán)境搭建、shell腳本小游戲 貪吃蛇。第四階段：Hadoop生態(tài)體系學(xué)習(xí)內(nèi)容：HDFS、MapReduce、Hive、Sqoop、Oozie學(xué)習(xí)目標(biāo)：掌握HDFS原理、操作和應(yīng)用開發(fā)，掌握分布式運(yùn)算、Hive數(shù)據(jù)倉庫原理及應(yīng)用。完成目標(biāo)：微博數(shù)據(jù)大數(shù)據(jù)分析、汽車銷售大數(shù)據(jù)分析第五階段：Storm實(shí)時開發(fā)學(xué)習(xí)內(nèi)容：Zookeeper、HBase、Storm實(shí)時數(shù)據(jù)學(xué)習(xí)目標(biāo)：掌握Storm程序的開發(fā)及底層原理，具備開發(fā)基于Storm的實(shí)時計(jì)算程序的能力。完成目標(biāo)：實(shí)時處理新數(shù)據(jù)和更新數(shù)據(jù)庫，處理密集查詢并行搜索處理大集合的數(shù)據(jù)。
優(yōu)質(zhì)工程師考試問答知識庫