DaisyYaoYao
只要數(shù)據(jù)量級(jí)大(或者是數(shù)據(jù)復(fù)雜度,或者是其他方面的量級(jí)大)到普通的處理方法無(wú)法處理地實(shí)際上都可以算作是大數(shù)據(jù)開(kāi)發(fā),只不過(guò)一般大數(shù)據(jù)開(kāi)發(fā)目前招聘的很多都是做數(shù)據(jù)處理的。有如下幾個(gè)方向:1)數(shù)據(jù)挖掘是大數(shù)據(jù)處理地一個(gè)方向,這里做數(shù)據(jù)挖掘要有一些統(tǒng)計(jì)學(xué)基礎(chǔ)才能做,目前數(shù)據(jù)挖掘的方向其實(shí)不是很明確,和人工智能,機(jī)械學(xué)習(xí)也有一些關(guān)系,如果是做數(shù)據(jù)挖掘,基本的數(shù)據(jù)會(huì)由數(shù)據(jù)平臺(tái)部或數(shù)據(jù)運(yùn)維部門(mén)提供2)數(shù)據(jù)平臺(tái)的開(kāi)發(fā)(這里的平臺(tái)開(kāi)發(fā)在不同公司的內(nèi)容又不一樣,小公司可能是根據(jù)公司業(yè)務(wù)做一套完整的數(shù)據(jù)分析系統(tǒng),大公司這個(gè)職位可能是一些開(kāi)源組件的二次開(kāi)發(fā))3)大數(shù)據(jù)運(yùn)維方向:比如hadoop,spark集群的運(yùn)維,涉及到ha等內(nèi)容4)大數(shù)據(jù)分析方向:有的公司會(huì)將職責(zé)細(xì)化,招聘一些專(zhuān)業(yè)的分析人員,去寫(xiě)hql或者是其它類(lèi)sql來(lái)對(duì)數(shù)據(jù)進(jìn)行分析最后,其實(shí)大數(shù)據(jù)平臺(tái)相關(guān)工作的劃分并不清晰,行業(yè)里沒(méi)有統(tǒng)一標(biāo)準(zhǔn),大公司小公司情況不同。關(guān)于技術(shù)方向更是用什么的都有,比如有的公司用spark,有的用impala,還有的用clickhouse等,最近flink也逐漸進(jìn)入大家的視野。所以在找工作時(shí)應(yīng)該要考慮的是自己的強(qiáng)項(xiàng)是什么,同時(shí)在選擇工作時(shí)要考慮到這個(gè)工作在做了三五年后,從這家公司出來(lái)還能不能找到工作。我個(gè)人的建議是如果你會(huì)java,那不要脫離java(scala)語(yǔ)言去做大數(shù)據(jù)開(kāi)發(fā),也不要專(zhuān)業(yè)只去做數(shù)據(jù)分析工作,大數(shù)據(jù)行業(yè)目前仍舊有一些泡沫(個(gè)人看法),很多組件仍舊是基于java的,一旦脫離java語(yǔ)言本身,那源碼閱讀,二次開(kāi)發(fā)都會(huì)有問(wèn)題,同時(shí)生產(chǎn)環(huán)境自動(dòng)化去執(zhí)行一些代碼也是需要語(yǔ)言支持的,或者最差的預(yù)估,如果大數(shù)據(jù)行業(yè)嚴(yán)重縮水(比如某些公司可以分析,可以挖掘的內(nèi)容有限),可以隨時(shí)轉(zhuǎn)到j(luò)ava服務(wù)器開(kāi)發(fā)方向。
阿哥丶WLy
一、認(rèn)識(shí)大數(shù)據(jù)大數(shù)據(jù)本質(zhì)其實(shí)也是數(shù)據(jù),不過(guò)也包括了些新的特征,數(shù)據(jù)來(lái)源廣;數(shù)據(jù)格式多樣化(結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、Excel文件等);數(shù)據(jù)量大(最少也是TB級(jí)別的、甚至可能是PB級(jí)別);數(shù)據(jù)增長(zhǎng)速度快。二、大數(shù)據(jù)所需技能要求Python語(yǔ)言:編寫(xiě)一些腳本時(shí)會(huì)用到。Scala語(yǔ)言:編寫(xiě)Spark程序的最佳語(yǔ)言,當(dāng)然也可以選擇用Python。Ozzie,azkaban:定時(shí)任務(wù)調(diào)度的工具。Hue,Zepplin:圖形化任務(wù)執(zhí)行管理,結(jié)果查看工具。Allluxio,Kylin等:通過(guò)對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行預(yù)處理,加快運(yùn)算速度的工具。必須掌握的技能:、 HBase(、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、輔助小工具(Sqoop/Flume/Oozie/Hue等)。
優(yōu)質(zhì)工程師考試問(wèn)答知識(shí)庫(kù)