爐石大數(shù)據(jù)工程師工作時(shí)間
火炎焱加冰
福建不吃辣
介紹下大數(shù)據(jù)工程師所需的幾項(xiàng)關(guān)鍵技能：
1.大數(shù)據(jù)架構(gòu)的工具與組件
數(shù)據(jù)工程師更關(guān)注分析基礎(chǔ)架構(gòu)，因此所需的大部分技能都是以架構(gòu)為中心的。
2.深入了解SQL和其它數(shù)據(jù)庫解決方案
數(shù)據(jù)工程師需要熟悉數(shù)據(jù)庫管理系統(tǒng)，深入了解SQL至關(guān)重要。同樣其它數(shù)據(jù)庫解決方案，例如Cassandra或BigTable也須熟悉，因?yàn)椴皇敲總€(gè)數(shù)據(jù)庫都是由可識(shí)別的標(biāo)準(zhǔn)來構(gòu)建。
3.數(shù)據(jù)倉庫和ETL工具
數(shù)據(jù)倉庫和ETL經(jīng)驗(yàn)對(duì)于數(shù)據(jù)工程師至關(guān)重要。像Redshift或Panoply這樣的數(shù)據(jù)倉庫解決方案，以及ETL工具，比如StitchData或Segment都非常有用。此外，數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)檢索經(jīng)驗(yàn)同樣重要，因?yàn)樘幚淼臄?shù)據(jù)量是個(gè)天文數(shù)字。
4.基于Hadoop的分析(HBase，Hive，MapReduce等)
對(duì)基于Apache Hadoop的分析有深刻理解是這個(gè)領(lǐng)域的一個(gè)非常必要的需求，一般情況下HBase，Hive和MapReduce的知識(shí)存儲(chǔ)是必需的。
5.編碼
說到解決方案，編碼與開發(fā)能力是一個(gè)重要的優(yōu)點(diǎn)(這也是許多職位的要求)，你要熟悉Python，C/C++，Java，Perl，Golang或其它語言，這會(huì)非常有價(jià)值。
6.機(jī)器學(xué)習(xí)
機(jī)器學(xué)習(xí)已經(jīng)成為標(biāo)準(zhǔn)數(shù)據(jù)科學(xué)，該領(lǐng)域的知識(shí)可以幫我們構(gòu)建同類產(chǎn)品的解決方案。這種知識(shí)還有一個(gè)好處，就是讓你在這個(gè)領(lǐng)域極具市場價(jià)值，因?yàn)樵谶@種情況下能夠“戴上兩頂帽子”會(huì)讓你成為一個(gè)更強(qiáng)大的工具。
7.多種操作系統(tǒng)
最后，需要我們對(duì)Unix，Linux和Solaris系統(tǒng)有深入了解，許多數(shù)學(xué)工具基于這些操作系統(tǒng)，因?yàn)樗鼈冇蠾indows和Mac系統(tǒng)功能沒有的訪問權(quán)限和特殊硬件需求。
木木小YY
研究大數(shù)據(jù)工程師學(xué)習(xí)有哪些？之前，先來看看這個(gè)大數(shù)據(jù)以后的發(fā)展趨勢(shì)。通過互聯(lián)網(wǎng)的發(fā)展，各個(gè)行業(yè)都離不開互聯(lián)網(wǎng)。大數(shù)據(jù)作為互聯(lián)網(wǎng)有效的指引手段，起到了很好的作用。也正是因?yàn)檫@個(gè)原因，因此大數(shù)據(jù)人才的需求量增加，人才供需嚴(yán)重不平。企業(yè)更是會(huì)出高薪聘請(qǐng)大數(shù)據(jù)人才，這也給很多學(xué)員帶來了商機(jī)，這也導(dǎo)致了很多學(xué)生開始轉(zhuǎn)向?qū)W習(xí)大數(shù)據(jù)。大數(shù)據(jù)工程師學(xué)習(xí)有哪些？這是很多朋友們都想要知道的。其實(shí)要想分辨出好的學(xué)習(xí)機(jī)構(gòu)并不難，我們只需要看看其教學(xué)質(zhì)量，老師的技術(shù)，還有課程的安排等這些指標(biāo)，就可以找出適合與我們的優(yōu)秀學(xué)習(xí)學(xué)校。真正的大數(shù)據(jù)技術(shù)，講授的是專業(yè)的大數(shù)據(jù)技術(shù)知識(shí)。真實(shí)的企業(yè)及項(xiàng)目，由企業(yè)中對(duì)應(yīng)項(xiàng)目改寫設(shè)計(jì)而成，貼近實(shí)戰(zhàn)，貼近實(shí)際工作。采用真實(shí)的大數(shù)據(jù)數(shù)據(jù)源進(jìn)行授課，數(shù)據(jù)本身具有一定商業(yè)價(jià)值。課程內(nèi)容涉及數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析(核心)、數(shù)據(jù)展現(xiàn)和數(shù)據(jù)應(yīng)用，可稱為“全棧式大數(shù)據(jù)開發(fā)課程”。課程內(nèi)容豐富，不僅具有大數(shù)據(jù)主流技術(shù)，更講述大數(shù)據(jù)相關(guān)的熱門技術(shù)，如云計(jì)算和機(jī)器學(xué)習(xí)，讓學(xué)生就業(yè)更具有競爭力，具有發(fā)展空間。大數(shù)據(jù)學(xué)習(xí)有哪些？哪家專業(yè)？相信通過本文的介紹，你已經(jīng)有了一定的選擇框架。其實(shí)真正的選擇還是要去各個(gè)學(xué)習(xí)機(jī)構(gòu)實(shí)地考察。
孫家員外
IT行業(yè)都加班吧，加多少看情況和個(gè)人能力
大數(shù)據(jù)開發(fā)：
1、負(fù)責(zé)公司大數(shù)據(jù)產(chǎn)品/項(xiàng)目的后臺(tái)研發(fā)；
2、負(fù)責(zé)技術(shù)預(yù)研，產(chǎn)品設(shè)計(jì)以及文檔編寫等工作；
3、參與大數(shù)據(jù)的數(shù)據(jù)治理和數(shù)據(jù)處理相關(guān)java開發(fā)工作；
4、參與海量數(shù)據(jù)處理，業(yè)務(wù)數(shù)據(jù)體系的設(shè)計(jì)、數(shù)據(jù)統(tǒng)計(jì)、分析及數(shù)據(jù)建模
大數(shù)據(jù)開發(fā)要處理大規(guī)模的數(shù)據(jù)，目前的各種技術(shù)在發(fā)展，高效的開發(fā)工具大大減輕了大數(shù)據(jù)開發(fā)工程師的工作負(fù)擔(dān)，所以大數(shù)據(jù)開發(fā)工程師的工作雖然不是很輕松，但是也算不上很累，當(dāng)然加班的情況還是存在的。
突然想起來，加米谷之前一個(gè)學(xué)大數(shù)據(jù)開發(fā)的學(xué)員說過一句話：現(xiàn)在這個(gè)社會(huì)做什么工作不需要加班呢？反正都是加班，不如選個(gè)工資高的加
做大數(shù)據(jù)開發(fā)工程師，加班是肯定會(huì)有的。所有的開發(fā)的崗位，都不是輕松的工作，不然也不會(huì)有那么高的薪資。如果想要拿高薪，也是需要對(duì)應(yīng)的付出的。
huzhanghua88
1.找出過去事件的特征大數(shù)據(jù)工程師一個(gè)很重要的工作，就是通過分析數(shù)據(jù)來找出過去事件的特征。比如，騰訊的數(shù)據(jù)團(tuán)隊(duì)正在搭建一個(gè)數(shù)據(jù)倉庫，把公司所有網(wǎng)絡(luò)平臺(tái)上數(shù)量龐大、不規(guī)整的數(shù)據(jù)信息進(jìn)行梳理，總結(jié)出可供查詢的特征，來支持公司各類業(yè)務(wù)對(duì)數(shù)據(jù)的需求，包括廣告投放、游戲開發(fā)、社交網(wǎng)絡(luò)等。找出過去事件的特征，最大的作用是可以幫助企業(yè)更好地認(rèn)識(shí)消費(fèi)者。通過分析用戶以往的行為軌跡，就能夠了解這個(gè)人，并預(yù)測(cè)他的行為?！澳憧梢灾浪鞘裁礃拥娜?、他的年紀(jì)、興趣愛好，是不是互聯(lián)網(wǎng)付費(fèi)用戶、喜歡玩什么類型的游戲，平常喜歡在網(wǎng)上做什么事情。”騰訊云計(jì)算有限公司北京研發(fā)中心總經(jīng)理鄭立峰說。下一步到了業(yè)務(wù)層面，就可以針對(duì)各類人群推薦相關(guān)服務(wù)，比如手游，或是基于不同特征和需求衍生出新的業(yè)務(wù)模式，比如微信的電影票業(yè)務(wù)。2.預(yù)測(cè)未來可能發(fā)生的事情通過引入關(guān)鍵因素，大數(shù)據(jù)工程師可以預(yù)測(cè)未來的消費(fèi)趨勢(shì)。在阿里媽媽的營銷平臺(tái)上，工程師正試圖通過引入氣象數(shù)據(jù)來幫助淘寶賣家做生意?！氨热缃衲晗奶觳粺幔芸赡苣承┊a(chǎn)品就沒有去年暢銷，除了空調(diào)、電扇，背心、游泳衣等都可能會(huì)受其影響。那么我們就會(huì)建立氣象數(shù)據(jù)和銷售數(shù)據(jù)之間的關(guān)系，找到與之相關(guān)的品類，提前警示賣家周轉(zhuǎn)庫存。”薛貴榮說。在百度，沈志勇支持“百度預(yù)測(cè)”部分產(chǎn)品的模型研發(fā)，試圖用大數(shù)據(jù)為更廣泛的人群服務(wù)。已經(jīng)上線的包括世界杯預(yù)測(cè)、高考預(yù)測(cè)、景點(diǎn)預(yù)測(cè)等。以百度景點(diǎn)預(yù)測(cè)為例，大數(shù)據(jù)工程師需要收集所有可能影響一段時(shí)間內(nèi)景點(diǎn)人流量的關(guān)鍵因素進(jìn)行預(yù)測(cè)，并為全國各個(gè)景點(diǎn)未來的擁擠度分級(jí)—在接下來的若干天時(shí)間里，它究竟是暢通、擁擠，還是一般擁擠?3.找出最優(yōu)化的結(jié)果根據(jù)不同企業(yè)的業(yè)務(wù)性質(zhì)，大數(shù)據(jù)工程師可以通過數(shù)據(jù)分析來達(dá)到不同的目的。以騰訊來說，鄭立峰認(rèn)為能反映大數(shù)據(jù)工程師工作的最簡單直接的例子就是選項(xiàng)測(cè)試(AB Test)，即幫助產(chǎn)品經(jīng)理在A、B兩個(gè)備選方案中做出選擇。在過去，決策者只能依據(jù)經(jīng)驗(yàn)進(jìn)行判斷，但如今大數(shù)據(jù)工程師可以通過大范圍地實(shí)時(shí)測(cè)試—比如，在社交網(wǎng)絡(luò)產(chǎn)品的例子中，讓一半用戶看到A界面，另一半使用B界面，觀察統(tǒng)計(jì)一段時(shí)間內(nèi)的點(diǎn)擊率和轉(zhuǎn)化率，以此幫助市場部做出最終選擇。
star小朋友
1.如何成為大數(shù)據(jù)工程師由于目前大數(shù)據(jù)人才匱乏，對(duì)于公司來說，很難招聘到合適的人才—既要有高學(xué)歷，同時(shí)最好還有大規(guī)模數(shù)據(jù)處理經(jīng)驗(yàn)。因此很多企業(yè)會(huì)通過內(nèi)部挖掘。2014年8月，阿里巴巴舉辦了一個(gè)大數(shù)據(jù)競賽，把天貓平臺(tái)上的數(shù)據(jù)拿出來，去除敏感問題后，放到云計(jì)算平臺(tái)上交予7000多支隊(duì)伍進(jìn)行比賽，比賽分為內(nèi)部賽和外部賽。“通過這個(gè)方式來激勵(lì)內(nèi)部員工，同時(shí)也發(fā)現(xiàn)外部人才，讓各行業(yè)的大數(shù)據(jù)工程師涌現(xiàn)出來?！蹦壳伴L期從事數(shù)據(jù)庫管理、挖掘、編程工作的人，包括傳統(tǒng)的量化分析師、Hadoop方面的工程師，以及任何在工作中需要通過數(shù)據(jù)來進(jìn)行判斷決策的管理者，比如某些領(lǐng)域的運(yùn)營經(jīng)理等，都可以嘗試該職位，而各個(gè)領(lǐng)域的達(dá)人只要學(xué)會(huì)運(yùn)用數(shù)據(jù)，也可以成為大數(shù)據(jù)工程師。2.薪酬待遇作為IT類職業(yè)中的“大熊貓”，大數(shù)據(jù)工程師的收入待遇可以說達(dá)到了同類的頂級(jí)。國內(nèi)IT、通訊、行業(yè)招聘中，有10%都是和大數(shù)據(jù)相關(guān)的，且比例還在上升。大數(shù)據(jù)時(shí)代的到來很突然，在國內(nèi)發(fā)展勢(shì)頭激進(jìn)，而人才卻非常有限，現(xiàn)在完全是供不應(yīng)求的狀況。在美國，大數(shù)據(jù)工程師平均每年薪酬高達(dá)萬美元，而據(jù)了解，在國內(nèi)頂尖互聯(lián)網(wǎng)類公司，同一個(gè)級(jí)別大數(shù)據(jù)工程師的薪酬可能要比其他職位高20%至30%，且頗受企業(yè)重視。3.職業(yè)發(fā)展路徑由于大數(shù)據(jù)人才數(shù)量較少，因此大多數(shù)公司的數(shù)據(jù)部門一般都是扁平化的層級(jí)模式，大致分為數(shù)據(jù)分析師、資深研究員、部門總監(jiān)3個(gè)級(jí)別。大公司可能按照應(yīng)用領(lǐng)域的維度來劃分不同團(tuán)隊(duì)，而在小公司則需要身兼數(shù)職。有些特別強(qiáng)調(diào)大數(shù)據(jù)戰(zhàn)略的互聯(lián)網(wǎng)公司則會(huì)另設(shè)最高職位—如阿里巴巴的首席數(shù)據(jù)官。這個(gè)職位的大部分人會(huì)往研究方向發(fā)展，成為重要數(shù)據(jù)戰(zhàn)略人才。另一方面，大數(shù)據(jù)工程師對(duì)商業(yè)和產(chǎn)品的理解，并不亞于業(yè)務(wù)部門員工，因此也可轉(zhuǎn)向產(chǎn)品部或市場部，乃至上升為公司的高級(jí)管理層。
水里漂浮的雨
大數(shù)據(jù)工程師主要是，分析歷史、預(yù)測(cè)未來、優(yōu)化選擇，這是大數(shù)據(jù)工程師在“玩數(shù)據(jù)”時(shí)最重要的三大任務(wù)：
找出過去事件的特征：大數(shù)據(jù)工程師一個(gè)很重要的工作，就是通過分析數(shù)據(jù)來找出過去事件的特征。找出過去事件的特征，最大的作用是可以幫助企業(yè)更好地認(rèn)識(shí)消費(fèi)者。通過分析用戶以往的行為軌跡，就能夠了解這個(gè)人，并預(yù)測(cè)他的行為。
預(yù)測(cè)未來可能發(fā)生的事情：通過引入關(guān)鍵因素，大數(shù)據(jù)工程師可以預(yù)測(cè)未來的消費(fèi)趨勢(shì)。
找出最優(yōu)化的結(jié)果：根據(jù)不同企業(yè)的業(yè)務(wù)性質(zhì)，大數(shù)據(jù)工程師可以通過數(shù)據(jù)分析來達(dá)到不同的目的。
擴(kuò)展資料
大數(shù)據(jù)工程師需要學(xué)習(xí)的知識(shí)
1、linux
大數(shù)據(jù)集群主要建立在linux操作系統(tǒng)上，Linux是一套免費(fèi)使用和自由傳播的類Unix操作系統(tǒng)。而這部分的內(nèi)容是大家在學(xué)習(xí)大數(shù)據(jù)中必須要學(xué)習(xí)的，只有學(xué)好Linux才能在工作中更加的得心應(yīng)手。
2、Hadoop
我覺的大家聽過大數(shù)據(jù)就一定會(huì)聽過hadoop。Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行離線分布式處理的軟件框架，運(yùn)算時(shí)利用mapreduce對(duì)數(shù)據(jù)進(jìn)行處理。
參考資料來源：百度百科-大數(shù)據(jù)分析師
優(yōu)質(zhì)工程師考試問答知識(shí)庫