大數(shù)據(jù)開發(fā)工程師工作時(shí)間
姍姍愛C
冷夜寒池
簡(jiǎn)單粗略來(lái)說(shuō)就是用工具實(shí)現(xiàn)大數(shù)據(jù)分析后所需要得出的結(jié)果。簡(jiǎn)單理解，大數(shù)據(jù)開發(fā)就是制造軟件的，只是與大數(shù)據(jù)相關(guān)而已，通常用到的就是與大數(shù)據(jù)相關(guān)的開發(fā)工具、環(huán)境等等。大數(shù)據(jù)開發(fā)其實(shí)分兩種，第一類是編寫一些Hadoop、Spark的應(yīng)用程序，第二類是對(duì)大數(shù)據(jù)處理系統(tǒng)本身進(jìn)行開發(fā)。第一類工作感覺更適用于data analyst這種職位吧，而且現(xiàn)在Hive Spark-SQL這種系統(tǒng)也提供SQL的接口。第二類工作的話通常才大公司里才有，一般他們都會(huì)搞自己的系統(tǒng)或者再對(duì)開源的做些二次開發(fā)。這種工作的話對(duì)理論和實(shí)踐要求的都更深一些，也更有技術(shù)含量。
愛笑的眼烏珠
IT行業(yè)都加班吧，加多少看情況和個(gè)人能力
大數(shù)據(jù)開發(fā)：
1、負(fù)責(zé)公司大數(shù)據(jù)產(chǎn)品/項(xiàng)目的后臺(tái)研發(fā)；
2、負(fù)責(zé)技術(shù)預(yù)研，產(chǎn)品設(shè)計(jì)以及文檔編寫等工作；
3、參與大數(shù)據(jù)的數(shù)據(jù)治理和數(shù)據(jù)處理相關(guān)java開發(fā)工作；
4、參與海量數(shù)據(jù)處理，業(yè)務(wù)數(shù)據(jù)體系的設(shè)計(jì)、數(shù)據(jù)統(tǒng)計(jì)、分析及數(shù)據(jù)建模
大數(shù)據(jù)開發(fā)要處理大規(guī)模的數(shù)據(jù)，目前的各種技術(shù)在發(fā)展，高效的開發(fā)工具大大減輕了大數(shù)據(jù)開發(fā)工程師的工作負(fù)擔(dān)，所以大數(shù)據(jù)開發(fā)工程師的工作雖然不是很輕松，但是也算不上很累，當(dāng)然加班的情況還是存在的。
突然想起來(lái)，加米谷之前一個(gè)學(xué)大數(shù)據(jù)開發(fā)的學(xué)員說(shuō)過(guò)一句話：現(xiàn)在這個(gè)社會(huì)做什么工作不需要加班呢？反正都是加班，不如選個(gè)工資高的加
做大數(shù)據(jù)開發(fā)工程師，加班是肯定會(huì)有的。所有的開發(fā)的崗位，都不是輕松的工作，不然也不會(huì)有那么高的薪資。如果想要拿高薪，也是需要對(duì)應(yīng)的付出的。
出走的熊貓
從部分大數(shù)據(jù)開發(fā)工程師的招聘要求可見一斑，需掌握的技能包括但不限于如下幾個(gè)方面：1、hadoop/spark/hive/flink等常見離線和實(shí)時(shí)大數(shù)據(jù)平臺(tái)架構(gòu)，有相關(guān)大數(shù)據(jù)系統(tǒng)開發(fā)、維護(hù)和整合經(jīng)驗(yàn)；2、編程基礎(chǔ)扎實(shí)、動(dòng)手實(shí)踐能力強(qiáng)，至少熟練掌握一門開發(fā)語(yǔ)言（python/java/go/scala/c++等），熟悉hive sql使用；3、熟悉常見的大數(shù)據(jù)開發(fā)工作流，熟練掌握大數(shù)據(jù)接入、數(shù)據(jù)清洗、數(shù)據(jù)挖掘分析&數(shù)據(jù)可視化工具；4、了解常見的機(jī)器學(xué)習(xí)算法基本原理，熟悉安全攻防對(duì)抗、廣告安全對(duì)抗等相關(guān)業(yè)務(wù)場(chǎng)景。
ace922apple
大數(shù)據(jù)開發(fā)工程師做的是：1、參與大數(shù)據(jù)平臺(tái)的數(shù)據(jù)架構(gòu)設(shè)計(jì)，完成從業(yè)務(wù)模型到數(shù)據(jù)模型的設(shè)計(jì)；2、基于海量數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)，為業(yè)務(wù)搭建通用的查詢和分析解決方案；3、根據(jù)工作安排高效、高質(zhì)地完成代碼編寫，確保符合前端代碼規(guī)范。以上是大數(shù)據(jù)開發(fā)工程師目前在行業(yè)或公司中負(fù)責(zé)的工作內(nèi)容。
A這點(diǎn)小事
1.如何成為大數(shù)據(jù)工程師由于目前大數(shù)據(jù)人才匱乏，對(duì)于公司來(lái)說(shuō)，很難招聘到合適的人才—既要有高學(xué)歷，同時(shí)最好還有大規(guī)模數(shù)據(jù)處理經(jīng)驗(yàn)。因此很多企業(yè)會(huì)通過(guò)內(nèi)部挖掘。2014年8月，阿里巴巴舉辦了一個(gè)大數(shù)據(jù)競(jìng)賽，把天貓平臺(tái)上的數(shù)據(jù)拿出來(lái)，去除敏感問(wèn)題后，放到云計(jì)算平臺(tái)上交予7000多支隊(duì)伍進(jìn)行比賽，比賽分為內(nèi)部賽和外部賽?！巴ㄟ^(guò)這個(gè)方式來(lái)激勵(lì)內(nèi)部員工，同時(shí)也發(fā)現(xiàn)外部人才，讓各行業(yè)的大數(shù)據(jù)工程師涌現(xiàn)出來(lái)。”目前長(zhǎng)期從事數(shù)據(jù)庫(kù)管理、挖掘、編程工作的人，包括傳統(tǒng)的量化分析師、Hadoop方面的工程師，以及任何在工作中需要通過(guò)數(shù)據(jù)來(lái)進(jìn)行判斷決策的管理者，比如某些領(lǐng)域的運(yùn)營(yíng)經(jīng)理等，都可以嘗試該職位，而各個(gè)領(lǐng)域的達(dá)人只要學(xué)會(huì)運(yùn)用數(shù)據(jù)，也可以成為大數(shù)據(jù)工程師。2.薪酬待遇作為IT類職業(yè)中的“大熊貓”，大數(shù)據(jù)工程師的收入待遇可以說(shuō)達(dá)到了同類的頂級(jí)。國(guó)內(nèi)IT、通訊、行業(yè)招聘中，有10%都是和大數(shù)據(jù)相關(guān)的，且比例還在上升。大數(shù)據(jù)時(shí)代的到來(lái)很突然，在國(guó)內(nèi)發(fā)展勢(shì)頭激進(jìn)，而人才卻非常有限，現(xiàn)在完全是供不應(yīng)求的狀況。在美國(guó)，大數(shù)據(jù)工程師平均每年薪酬高達(dá)萬(wàn)美元，而據(jù)了解，在國(guó)內(nèi)頂尖互聯(lián)網(wǎng)類公司，同一個(gè)級(jí)別大數(shù)據(jù)工程師的薪酬可能要比其他職位高20%至30%，且頗受企業(yè)重視。3.職業(yè)發(fā)展路徑由于大數(shù)據(jù)人才數(shù)量較少，因此大多數(shù)公司的數(shù)據(jù)部門一般都是扁平化的層級(jí)模式，大致分為數(shù)據(jù)分析師、資深研究員、部門總監(jiān)3個(gè)級(jí)別。大公司可能按照應(yīng)用領(lǐng)域的維度來(lái)劃分不同團(tuán)隊(duì)，而在小公司則需要身兼數(shù)職。有些特別強(qiáng)調(diào)大數(shù)據(jù)戰(zhàn)略的互聯(lián)網(wǎng)公司則會(huì)另設(shè)最高職位—如阿里巴巴的首席數(shù)據(jù)官。這個(gè)職位的大部分人會(huì)往研究方向發(fā)展，成為重要數(shù)據(jù)戰(zhàn)略人才。另一方面，大數(shù)據(jù)工程師對(duì)商業(yè)和產(chǎn)品的理解，并不亞于業(yè)務(wù)部門員工，因此也可轉(zhuǎn)向產(chǎn)品部或市場(chǎng)部，乃至上升為公司的高級(jí)管理層。
優(yōu)質(zhì)工程師考試問(wèn)答知識(shí)庫(kù)