Q糖奶爸
大數(shù)據(jù)的擇業(yè)方向有大數(shù)據(jù)開發(fā)方向、數(shù)據(jù)挖掘數(shù)據(jù)分析和機(jī)器學(xué)習(xí)方向、大數(shù)據(jù)運(yùn)維和云計(jì)算方向,主要從事互聯(lián)網(wǎng)行業(yè)相關(guān)工作。
大數(shù)據(jù)課程難度大,同時(shí)有大專本科學(xué)歷要求!但工作需求大,畢業(yè)以后可以從事的崗位還是比較多的,回報(bào)高,待遇在年薪30~50萬之間,如果是互聯(lián)網(wǎng)大廠更高。
大數(shù)據(jù)學(xué)習(xí)內(nèi)容主要有:
①JavaSE核心技術(shù);
②Hadoop平臺(tái)核心技術(shù)、Hive開發(fā)、HBase開發(fā);
③Spark相關(guān)技術(shù)、Scala基本編程;
④掌握Python基本使用、核心庫的使用、Python爬蟲、簡單數(shù)據(jù)分析;理解Python機(jī)器學(xué)習(xí);
⑤大數(shù)據(jù)項(xiàng)目開發(fā)實(shí)戰(zhàn),大數(shù)據(jù)系統(tǒng)管理優(yōu)化等。
工作崗位列舉幾個(gè)熱門:
初級(jí)大數(shù)據(jù)離線處理,薪資10000-13000;
Spark開發(fā)工程師,薪資14000-16000;
Python爬蟲工程師,薪資16000-20000;
大數(shù)據(jù)開發(fā)工程師,薪資20000+。
想要系統(tǒng)學(xué)習(xí),你可以考察對(duì)比一下開設(shè)有IT專業(yè)的熱門學(xué)校,好的學(xué)校擁有根據(jù)當(dāng)下企業(yè)需求自主研發(fā)課程的能,建議實(shí)地考察對(duì)比一下。
祝你學(xué)有所成,望采納。
深圳吃吃
大數(shù)據(jù)時(shí)代十大熱門IT崗位
大數(shù)據(jù)時(shí)代十大熱門IT崗位,新的想法誕生新的技術(shù),從而造出許多新詞,云計(jì)算、大數(shù)據(jù)、BYOD、社交媒體、3D打印機(jī)、物聯(lián)網(wǎng)在互聯(lián)網(wǎng)時(shí)代,各種新詞層出不窮,令人應(yīng)接不暇。這些新的技術(shù)、新興應(yīng)用和對(duì)應(yīng)的IT發(fā)展趨勢,使得IT人必須了解甚至掌握最新的IT技能。另一方面,云計(jì)算和大數(shù)據(jù)乃至其他助推各個(gè)行業(yè)發(fā)展的IT基礎(chǔ)設(shè)施的新一輪部署與運(yùn)維,都將帶來更多的IT職位和相關(guān)技能技術(shù)的要求。
毫無疑問,這些新趨勢的到來,會(huì)誕生一批新的工作崗位,比如數(shù)據(jù)挖掘?qū)<?、移?dòng)應(yīng)用開發(fā)和測試、算法工程師,商業(yè)智能分析師等,同時(shí),也會(huì)強(qiáng)化原有崗位的新生命力,比如網(wǎng)絡(luò)工程師、系統(tǒng)架構(gòu)師、咨詢顧問、數(shù)據(jù)庫管理與開發(fā)等等。下面分別為大家介紹著十大IT技能所體現(xiàn)的工作崗位:
一、算法工程師
何萬青博士曾經(jīng)介紹把一件事做快做好的三種方法,其中就提到過“提高流水線效率、更好的算法和更短的代碼關(guān)鍵路徑?!笨梢钥闯鏊惴ㄔ谙到y(tǒng)效率中的重要地位。算法是讓機(jī)器按照人類設(shè)想的方式去解決問題,算法很大程度上取決于問題類型和工程師對(duì)機(jī)器編程的理解,其效率的高低與算法息息相關(guān)。
在數(shù)學(xué)和計(jì)算機(jī)科學(xué)之中,算法(Algorithm)為一個(gè)計(jì)算的具體步驟,常用于計(jì)算、數(shù)據(jù)處理和自動(dòng)推理。在大數(shù)據(jù)時(shí)代,算法的功能和作用得到進(jìn)一步凸顯。比如針對(duì)公司搜索業(yè)務(wù),開發(fā)搜索相關(guān)性算法、排序算法。對(duì)公司海量用戶行為數(shù)據(jù)和用戶意圖,設(shè)計(jì)數(shù)據(jù)挖掘算法。
算法工程師,根據(jù)研究領(lǐng)域來分主要有音頻/視頻算法處理、圖像技術(shù)方面的二維信息算法處理和通信物理層、雷達(dá)信號(hào)處理、生物醫(yī)學(xué)信號(hào)處理等領(lǐng)域的一維信息算法處理。另外數(shù)據(jù)挖掘、互聯(lián)網(wǎng)搜索算法這些體現(xiàn)大數(shù)據(jù)發(fā)展方向的算法,在近幾年越來越流行,而且算法工程師也逐漸朝向人工智能的方向發(fā)展。
二、商業(yè)智能分析師
算法工程師延伸出來的商業(yè)智能,尤其是在大數(shù)據(jù)領(lǐng)域變得更加火熱。IT職業(yè)與咨詢服務(wù)公司Bluewolf曾經(jīng)發(fā)布報(bào)告指出,IT職位需求增長最快的是移動(dòng)、數(shù)據(jù)、云服務(wù)和面向用戶的技術(shù)人員,其中具體的職位則包括有商業(yè)智能分析師一項(xiàng)。
商業(yè)智能分析師往往需要精通數(shù)據(jù)庫知識(shí)和統(tǒng)計(jì)分析的能力,能夠使用商業(yè)智能工具,識(shí)別或監(jiān)控現(xiàn)有的和潛在的客戶。收集商業(yè)情報(bào)數(shù)據(jù),提供行業(yè)報(bào)告,分析技術(shù)的發(fā)展趨勢,確定市場未來的產(chǎn)品開發(fā)策略或改進(jìn)現(xiàn)有產(chǎn)品的銷售。
商業(yè)智能和邏輯分析技能在大數(shù)據(jù)時(shí)代顯得特別重要,擁有商業(yè)知識(shí)以及強(qiáng)大的數(shù)據(jù)和數(shù)學(xué)分析背景的IT人才,在將來的IT職場上更能獲得大型企業(yè)的青睞。不過這些技能并不是一般人都能掌握的,一些公司目前正在招聘統(tǒng)計(jì)學(xué)家并教授他們有關(guān)技術(shù)和商業(yè)的知識(shí)。
三、數(shù)據(jù)挖掘工程師
數(shù)據(jù)挖掘工程師,也可以叫做“數(shù)據(jù)挖掘?qū)<摇?。?shù)據(jù)挖掘是通過分析每個(gè)數(shù)據(jù),從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)。數(shù)據(jù)挖掘是一種決策支持過程,它主要基于人工智能、機(jī)器學(xué)習(xí)、模式識(shí)別、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫、可視化技術(shù)等,高度自動(dòng)化地分析企業(yè)的數(shù)據(jù),做出歸納性的推理,從中挖掘出潛在的模式,幫助決策者調(diào)整市場策略,減少風(fēng)險(xiǎn),做出正確的決策。
數(shù)據(jù)挖掘?qū)<一蛘哒f數(shù)據(jù)挖掘工程師掌握的技能,能夠?yàn)槠淇焖賱?chuàng)造財(cái)富。當(dāng)年亞馬遜的首位數(shù)據(jù)挖掘工程師大衛(wèi)·賽林格(DavidSelinger)創(chuàng)辦的數(shù)據(jù)挖掘公司,將類似于亞馬遜的產(chǎn)品推薦引擎系統(tǒng)銷售給在線零售和廣告銷售商,而這種產(chǎn)品推薦引擎系統(tǒng),也成為亞馬遜有史以來最賺錢的工具。數(shù)據(jù)挖掘的價(jià)值由此可見一斑。
四、咨詢顧問(專家)
任何業(yè)務(wù)部門和任何行業(yè)企業(yè),都有IT系統(tǒng)在背后默默無聞地支撐著。在云計(jì)算大數(shù)據(jù)時(shí)代,業(yè)務(wù)面臨的挑戰(zhàn)和機(jī)遇也會(huì)給IT系統(tǒng)帶來更多要求。在這種情況下,IT系統(tǒng)的規(guī)劃部署和運(yùn)維,都要有更為精通的專業(yè)人士才能勝任,并滿足面向未來大數(shù)據(jù)分析、云計(jì)算服務(wù)應(yīng)用的需要。
紐約蒙特法沃醫(yī)療中心(center)的副主席杰克-沃夫(JackWolf)曾經(jīng)表示,他尋求不僅會(huì)建立和使用系統(tǒng)而且還會(huì)給予其他員工技術(shù)支持的新員工,他說:"新的系統(tǒng)意味著你必須有更多的咨詢臺(tái)來處理更多的咨詢量。"當(dāng)然,這里體現(xiàn)的主要是某個(gè)系統(tǒng)的技術(shù)支持的功能,但管中規(guī)豹我們不難發(fā)現(xiàn),無論是部署初期的物料采購還是運(yùn)維過程中的金玉良言,都凸顯出這種技術(shù)咨詢顧問的重要性。
五、網(wǎng)絡(luò)工程師
網(wǎng)絡(luò)工程師可以說是一個(gè)“綠色長青”的職業(yè),網(wǎng)絡(luò)技術(shù)一直以來就處于急需之中,美國人力資源公司羅勃海佛國際(RobertHalf)第三季度IT招聘指數(shù)和技能報(bào)告指出,網(wǎng)絡(luò)管理占總需求技能排名中的第二位。對(duì)于云計(jì)算時(shí)代來說,網(wǎng)絡(luò)在云資源池中(計(jì)算、存儲(chǔ)、網(wǎng)絡(luò))更是扮演著更為重要的作用。
另一方面,IPv6標(biāo)準(zhǔn)、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)等蓬勃發(fā)展,使得對(duì)于網(wǎng)絡(luò)工程師尤其是新型網(wǎng)絡(luò)工程師(移動(dòng)、IPv6、云計(jì)算方向)的人才和技能要求也越來越多。網(wǎng)絡(luò)工程師也因此而可以細(xì)分成多個(gè)發(fā)展方向,相應(yīng)的技能要求其側(cè)重也有所不同。比如網(wǎng)絡(luò)安全、網(wǎng)絡(luò)存儲(chǔ)、架構(gòu)設(shè)計(jì)、移動(dòng)網(wǎng)絡(luò)等等。
六、移動(dòng)應(yīng)用開發(fā)工程師
移動(dòng)應(yīng)用開發(fā),會(huì)隨著移動(dòng)互聯(lián)網(wǎng)時(shí)代的到來變得更受追捧。截至2012年底我國已經(jīng)有10億手機(jī)用戶,移動(dòng)智能終端用戶超過4億,在移動(dòng)支付、移動(dòng)購物、移動(dòng)旅游、移動(dòng)社交等方面涌現(xiàn)了大量的移動(dòng)互聯(lián)網(wǎng)游戲、應(yīng)用和創(chuàng)業(yè)公司。
移動(dòng)平臺(tái)智能系統(tǒng)較多,但真正有影響力的也不外乎iOS、Android、WP、Blackberry等。大量原來PC和互聯(lián)網(wǎng)上的信息化應(yīng)用、互聯(lián)網(wǎng)應(yīng)用均已出現(xiàn)在手機(jī)平臺(tái)上,一些前所未見的新奇應(yīng)用也開始出現(xiàn),并日漸增多。
移動(dòng)應(yīng)用開發(fā),由于存有多個(gè)平臺(tái)系統(tǒng),因此不同的平臺(tái)開發(fā)者其所面臨的機(jī)遇和挑戰(zhàn)也不盡相同。一個(gè)很明顯的例子就是,當(dāng)初由Google公司和開放手機(jī)聯(lián)盟領(lǐng)導(dǎo)及開發(fā)的基于Linux的安卓系統(tǒng),在開源之后就給廣大開發(fā)者(商)帶來巨大商機(jī),而堅(jiān)定選擇iOS平臺(tái)的的開發(fā)工程師,也通過蘋果生態(tài)系統(tǒng)的不斷擴(kuò)建和智能設(shè)備的高市場占有,使得較早的一批開發(fā)者都賺得盆滿缽滿。不過在國內(nèi)由于用戶習(xí)慣、產(chǎn)業(yè)環(huán)境和版權(quán)保護(hù)的問題,移動(dòng)應(yīng)用開發(fā)者并沒有因此而獲得相應(yīng)的收益。
七、軟件工程設(shè)計(jì)師
近年IT業(yè)界逐漸涌現(xiàn)出一股軟件定義網(wǎng)絡(luò)(SDN)、軟件定義數(shù)據(jù)中心、軟件定義存儲(chǔ)(SDS)和軟件定義服務(wù)器(MoonShot)等浪潮,大有軟件定義未來一切IT基礎(chǔ)設(shè)施的趨勢。
PaaS、SaaS、數(shù)據(jù)挖掘和分析、數(shù)據(jù)管理和監(jiān)控、虛擬化、應(yīng)用開發(fā)等等,都是軟件工程師大展身手的好舞臺(tái)。相應(yīng)的,這些技術(shù)領(lǐng)域也對(duì)軟件工程師的要求會(huì)更高,尤其是虛擬化和面向BYOD、云計(jì)算、大數(shù)據(jù)等應(yīng)用的開發(fā)和管理,都需要有更高深的技術(shù)支撐。
和算法工程師有點(diǎn)類似的地方在于,軟件工程師也需要注重設(shè)計(jì)模式的使用,一位優(yōu)秀的工程師通常能識(shí)別并利用模式,而不是受制于模式。工程師不應(yīng)讓系統(tǒng)去適應(yīng)某種模式,而是需要發(fā)現(xiàn)在系統(tǒng)中使用模式的時(shí)機(jī)。
八、數(shù)據(jù)庫開發(fā)和管理
數(shù)據(jù)庫開發(fā)和管理在大數(shù)據(jù)時(shí)代顯得尤為重要,相關(guān)的數(shù)據(jù)庫管理、運(yùn)維和開發(fā)技術(shù),將成為廣大BI、大型企業(yè)和咨詢分析機(jī)構(gòu)特別看重的技能體現(xiàn)。代表著更多類型(尤其是非結(jié)構(gòu)化類型)的海量數(shù)據(jù)的涌現(xiàn),要求我們實(shí)時(shí)采集、分析、傳輸這些數(shù)據(jù)集,在對(duì)基礎(chǔ)設(shè)施提出嚴(yán)峻挑戰(zhàn)的同時(shí),也特別強(qiáng)調(diào)了數(shù)據(jù)庫開發(fā)和管理人員的挑戰(zhàn)。
比如分布式的、面向海量數(shù)據(jù)管理的數(shù)據(jù)庫系統(tǒng)之一NoSQL,就是面向大數(shù)據(jù)領(lǐng)域的非關(guān)系型數(shù)據(jù)庫的流行平臺(tái),高可用、大吞吐、低延遲、數(shù)據(jù)安全性高等應(yīng)用特點(diǎn)成為了很多企業(yè)的看重的特點(diǎn),并希望有足夠多的優(yōu)秀IT開發(fā)人員深度開發(fā)NoSQL系統(tǒng),解決對(duì)存儲(chǔ)的擴(kuò)容、宕機(jī)時(shí)長、平滑擴(kuò)容、故障自動(dòng)切換等問題的困惱。
另外,更為知名的Hadoop分布式數(shù)據(jù)庫HBase的數(shù)據(jù)管理,需要借助HRegion、HMaster、HClient組成的體系結(jié)構(gòu)從整體上管理數(shù)據(jù)。這些也都需要有對(duì)Hadoop深刻理解和業(yè)務(wù)的精通才能勝任。而除此以外的大數(shù)據(jù)的存儲(chǔ)管理、內(nèi)存計(jì)算、包括基于這些應(yīng)用上的平臺(tái)開發(fā)等等,也得會(huì)越來越受市場歡迎。
九、系統(tǒng)架構(gòu)師
去年三星首席系統(tǒng)架構(gòu)師吉姆·莫加德(JimMergard)跳槽至蘋果,屬于近期比較大的系統(tǒng)架構(gòu)師人事變動(dòng),這種變動(dòng)也說明了當(dāng)今對(duì)于系統(tǒng)架構(gòu)師的高度重視和認(rèn)可。
眾所周知,云計(jì)算和大數(shù)據(jù)的出現(xiàn),使得傳統(tǒng)的數(shù)據(jù)中心基礎(chǔ)設(shè)施難以勝任;另一方面,日益激烈的市場競爭和移動(dòng)互聯(lián)等商機(jī)的出現(xiàn),勢必會(huì)給企業(yè)業(yè)務(wù)帶來深刻變革。這種變革和IT架構(gòu)轉(zhuǎn)型,都會(huì)牽扯到IT系統(tǒng)架構(gòu)這個(gè)核心問題。相比之前介紹的那些IT技能和所對(duì)應(yīng)的崗位,系統(tǒng)架構(gòu)師的規(guī)劃部署能力顯得尤為重要,它牽扯的是整個(gè)面而不是某個(gè)領(lǐng)域某個(gè)點(diǎn)的痛點(diǎn)。
十、系統(tǒng)安全師
同樣的,網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)還是系統(tǒng)架構(gòu),也都需要關(guān)注安全問題,而安全在現(xiàn)在的云計(jì)算環(huán)境下,個(gè)人隱私和企業(yè)敏感數(shù)據(jù)的保護(hù)也不斷被強(qiáng)化。
在當(dāng)前很多企業(yè)都收縮IT安全預(yù)算開支后,還不斷面臨著增強(qiáng)的合規(guī)要求等問題。企業(yè)們都在考慮是否應(yīng)當(dāng)將某些IT運(yùn)營交給云端服務(wù)提供商處理。實(shí)際上,每個(gè)人都深感壓力,預(yù)算不夠地情況下還要盡力防護(hù)數(shù)據(jù)地安全,特別是中小型企業(yè),這也就意味著企業(yè)需要將部分IT運(yùn)轉(zhuǎn)外包給第三方以減少資金和人力方面地投資。
即使不采用外包的形式,無論個(gè)人還是企業(yè)都會(huì)更加注重安全,因?yàn)椤鞍踩北旧硎菦]有行業(yè)限制和劃分的,尤其是企業(yè)在構(gòu)建云計(jì)算環(huán)境、提交或者收集海量數(shù)據(jù)進(jìn)行處理分析、存儲(chǔ)和傳輸?shù)鹊纫幌盗协h(huán)節(jié),都會(huì)面臨新的挑戰(zhàn)。這種挑戰(zhàn)勢必會(huì)需要有更多更專業(yè)的技術(shù)人才幫助解決這些問題。相比傳統(tǒng)來說,系統(tǒng)安全師將更多的會(huì)結(jié)合具體的業(yè)務(wù)展開,而根植于系統(tǒng)平臺(tái)和底層基礎(chǔ)設(shè)施的系統(tǒng)安全,則更多的會(huì)出現(xiàn)在運(yùn)營
滋味游龍
目前來看,從事數(shù)據(jù)挖掘工作,需要有較強(qiáng)的數(shù)學(xué)和統(tǒng)計(jì)學(xué)功底。在計(jì)算機(jī)技能方面,需要熟練使用IBM IM/SPSS Clementine/SAS EM等工具,熟悉Unix操作系統(tǒng),熟悉DB2/Oracle等大型關(guān)系數(shù)據(jù)庫,具備Shell/Perl/TCL/C/C++等編程能力,可以進(jìn)行自編挖掘算法、進(jìn)行商業(yè)統(tǒng)計(jì)分析、預(yù)測。還要掌握基本的Microsoft Office軟件,包括Excel和PowerPoint中的統(tǒng)計(jì)圖形技術(shù)。此外,能夠主動(dòng)和項(xiàng)目中其他成員緊密合作,因?yàn)閿?shù)據(jù)挖掘涉及方方面面的關(guān)系,很重視公司內(nèi)部的合作。還有一個(gè)比較重要的就是良好的客戶溝通能力。可以明確闡述數(shù)據(jù)挖掘項(xiàng)目的重點(diǎn)和難點(diǎn),調(diào)整客戶對(duì)數(shù)據(jù)挖掘的誤解和過高期望,讓模型維護(hù)人員了解并掌握數(shù)據(jù)挖掘方法論及建模實(shí)施能力,這一點(diǎn)是工程師往后發(fā)展的一個(gè)很關(guān)鍵的點(diǎn)。想要提升數(shù)據(jù)挖掘工程師的能力,推薦CDA數(shù)據(jù)分析師的課程,它安排了Sklearn/LightGBM、Tensorflow/PyTorch、Transformer等工具的應(yīng)用實(shí)現(xiàn),并根據(jù)輸出的結(jié)果分析業(yè)務(wù)需求,為進(jìn)行合理、有效的策略優(yōu)化提供數(shù)據(jù)支撐。課程培養(yǎng)學(xué)員硬性的數(shù)據(jù)挖掘理論與Python數(shù)據(jù)挖掘算法技能的同時(shí),還兼顧培養(yǎng)學(xué)員軟性數(shù)據(jù)治理思維、商業(yè)策略優(yōu)化思維、挖掘經(jīng)營思維、算法思維、預(yù)測分析思維,全方位提升學(xué)員的數(shù)據(jù)洞察力。點(diǎn)擊預(yù)約免費(fèi)試聽課。
粘土寶寶
大數(shù)據(jù)就業(yè)前景非常樂觀。大數(shù)據(jù)作為一個(gè)全新互聯(lián)網(wǎng)的產(chǎn)業(yè),大數(shù)據(jù)仍然處于快速發(fā)展初期,在這個(gè)快速發(fā)展的領(lǐng)域,每時(shí)每刻都在產(chǎn)生新的事物。從整體發(fā)展角度評(píng)價(jià),大數(shù)據(jù)行業(yè)的未來將呈現(xiàn)直線上升發(fā)展趨勢。大數(shù)據(jù)方面的就業(yè)主要有三大方向:百度一是數(shù)據(jù)分析類大數(shù)據(jù)人才,二是系統(tǒng)研發(fā)類大數(shù)據(jù)人才,三是應(yīng)用開發(fā)類大數(shù)據(jù)人才。他們的基礎(chǔ)崗位分別是大數(shù)據(jù)系統(tǒng)研發(fā)工程師、大數(shù)據(jù)應(yīng)用開發(fā)工程師、大數(shù)據(jù)分析師。
日月草112
大數(shù)據(jù)技術(shù)的熱門工作崗位主要有大數(shù)據(jù)開發(fā)工程師、大數(shù)據(jù)分析師、數(shù)據(jù)挖掘工程師、大數(shù)據(jù)可視化工程師等。這些崗位都是企業(yè)的核心技術(shù)崗位,有很大的需求,工資待遇也非??捎^,可以說學(xué)好了大數(shù)據(jù)技術(shù),高薪職業(yè)任你選擇。
1、大數(shù)據(jù)開發(fā)工程師
大數(shù)據(jù)開發(fā)工程師,很多公司都在招聘的熱門技術(shù)人才,工資也是相對(duì)于其他方向更高一些。想要成為大數(shù)據(jù)開發(fā)工程師需要掌握計(jì)算機(jī)技術(shù)、hadoop 、spark、storm開發(fā)、hive 數(shù)據(jù)庫、Linux 操作系統(tǒng)等知識(shí),具備分布式存儲(chǔ)、分布式計(jì)算框架等技術(shù)。
2、大數(shù)據(jù)分析師
大數(shù)據(jù)分析師需要對(duì)海量的大數(shù)據(jù)做分析、挖掘和展現(xiàn),并且將其中有價(jià)值的信息提取出來為決策提供支持,而大數(shù)據(jù)分析師實(shí)際上就是從事這類工作的從業(yè)人員。大數(shù)據(jù)分析師不僅要具備數(shù)據(jù)分析知識(shí),作為高級(jí)大數(shù)據(jù)分析師,還要掌握大數(shù)據(jù)技術(shù)相關(guān)知識(shí),如Hadoop、Python等,具備更為綜合的大數(shù)據(jù)知識(shí)體系。
3、數(shù)據(jù)挖掘工程師
做數(shù)據(jù)挖掘要從海量數(shù)據(jù)中發(fā)現(xiàn)規(guī)律,這就需要一定的數(shù)學(xué)知識(shí),基本的比如線性代數(shù)、高等代數(shù)、凸優(yōu)化、概率論等。經(jīng)常會(huì)用到的語言包括Python、Java、C或者C ,我自己用Python或者Java比較多。有時(shí)用MapReduce寫程序,再用Hadoop或者Hyp來處理數(shù)據(jù),如果用Python的話會(huì)和Spark相結(jié)合。
Hadoop大數(shù)據(jù)開發(fā)方向:市場需求旺盛,是大數(shù)據(jù)培訓(xùn)的主體,目前IT培訓(xùn)機(jī)構(gòu)的重點(diǎn)。對(duì)應(yīng)崗位有大數(shù)據(jù)開發(fā)工程師、爬蟲工程師、數(shù)據(jù)分析師等;
數(shù)據(jù)挖掘、數(shù)據(jù)分析&機(jī)器學(xué)習(xí)方向:學(xué)習(xí)起點(diǎn)高、難度大,市面上只有很少的培訓(xùn)機(jī)構(gòu)在做。對(duì)應(yīng)崗位有數(shù)據(jù)科學(xué)家、數(shù)據(jù)挖掘工程師、機(jī)器學(xué)習(xí)工程師等;
大數(shù)據(jù)運(yùn)維&云計(jì)算方向:市場需求中等,更偏向于Linux、云計(jì)算學(xué)科。對(duì)應(yīng)崗位有大數(shù)據(jù)運(yùn)維工程師等。
優(yōu)質(zhì)工程師考試問答知識(shí)庫