山東大數(shù)據(jù)工程師取證時間
小巴布2016
昏昏頭了
一般的話大數(shù)據(jù)是負責公司互聯(lián)網(wǎng)數(shù)據(jù)分析的一個職位，簡單的說如購物網(wǎng)站上的根據(jù)你的瀏覽給你推薦一些商品，另外還有從海量的數(shù)據(jù)中分析出對公司發(fā)現(xiàn)有指引作用的信息等都是大數(shù)據(jù)需要做的，現(xiàn)在來說大數(shù)據(jù)需求非常大，很有發(fā)展前景
米老鼠NANA
包含的課程還是比較多的，一般要學5個月左右。了解下魔據(jù)，有沒有基礎(chǔ)都可以，主要看的是自身學習是不是用心，夠不夠努力，現(xiàn)在這方面人才比較缺不用擔心就業(yè)問題，也可以去實際了解一下。
幸福順延
寫 SQL （很多入職一兩年的大數(shù)據(jù)工程師主要的工作就是寫 SQL ）2 為集群搭大數(shù)據(jù)環(huán)境（一般公司招大數(shù)據(jù)工程師環(huán)境都已經(jīng)搭好了，公司內(nèi)部會有現(xiàn)成的大數(shù)據(jù)平臺，但我這邊會私下搞一套測試環(huán)境，畢竟公司內(nèi)部的大數(shù)據(jù)系統(tǒng)權(quán)限限制很多，嚴重影響開發(fā)效率）3 維護大數(shù)據(jù)平臺（這個應該是每個大數(shù)據(jù)工程師都做過的工作，或多或少會承擔“運維”的工作）4 數(shù)據(jù)遷移（有部分公司需要把數(shù)據(jù)從傳統(tǒng)的數(shù)據(jù)庫 Oracle、MySQL 等數(shù)據(jù)遷移到大數(shù)據(jù)集群中，這個是比較繁瑣的工作，吃力不討好）5 應用遷移（有部分公司需要把應用從傳統(tǒng)的數(shù)據(jù)庫 Oracle、MySQL 等數(shù)據(jù)庫的存儲過程程序或者SQL腳本遷移到大數(shù)據(jù)平臺上，這個過程也是非常繁瑣的工作，無聊，高度重復且麻煩，吃力不討好）6 數(shù)據(jù)采集（采集日志數(shù)據(jù)、文件數(shù)據(jù)、接口數(shù)據(jù)，這個涉及到各種格式的轉(zhuǎn)換，一般用得比較多的是 Flume 和 Logstash）7 數(shù)據(jù)處理 離線數(shù)據(jù)處理（這個一般就是寫寫 SQL 然后扔到 Hive 中跑，其實和第一點有點重復了） 實時數(shù)據(jù)處理（這個涉及到消息隊列，Kafka，Spark，F(xiàn)link 這些，組件，一般就是 Flume 采集到數(shù)據(jù)發(fā)給 Kafka 然后 Spark 消費 Kafka 的數(shù)據(jù)進行處理）8 數(shù)據(jù)可視化（這個我司是用 Spring Boot 連接后臺數(shù)據(jù)與前端，前端用自己魔改的 echarts）9 大數(shù)據(jù)平臺開發(fā)（偏Java方向的，大概就是把開源的組件整合起來整成一個可用的大數(shù)據(jù)平臺這樣，常見的是各種難用的 PaaS 平臺）10 數(shù)據(jù)中臺開發(fā)（中臺需要支持接入各種數(shù)據(jù)源，把各種數(shù)據(jù)源清洗轉(zhuǎn)換為可用的數(shù)據(jù)，然后再基于原始數(shù)據(jù)搭建起寬表層，一般為了節(jié)省開發(fā)成本和服務器資源，都是基于寬表層查詢出業(yè)務數(shù)據(jù)）11 搭建數(shù)據(jù)倉庫（這里的數(shù)據(jù)倉庫的搭建不是指 Hive ，Hive 是搭建數(shù)倉的工具，數(shù)倉搭建一般會分為三層 ODS、DW、DM 層，其中DW是最重要的，它又可以分為DWD,DWM,DWS，這個層級只是邏輯上的概念，類似于把表名按照層級區(qū)分開來的操作，分層的目的是防止開發(fā)數(shù)據(jù)應用的時候直接訪問底層數(shù)據(jù)，可以減少資源，注意，減少資源開銷是減少 內(nèi)存 和 CPU 的開銷，分層后磁盤占用會大大增加，磁盤不值錢所以沒什么關(guān)系，分層可以使數(shù)據(jù)表的邏輯更加清晰，方便進一步的開發(fā)操作，如果分層沒有做好會導致邏輯混亂，新來的員工難以接手業(yè)務，提高公司的運營成本，還有這個建數(shù)倉也分為建離線和實時的）總之就是離不開寫 SQL ...
大頭的陳小晶
大數(shù)據(jù)工程師是負責創(chuàng)建和維護數(shù)據(jù)分析基礎(chǔ)架構(gòu)，包括大數(shù)據(jù)架構(gòu)的開發(fā)、構(gòu)建、維護和測試等，還負責創(chuàng)建用于建模，挖掘，獲取和驗證數(shù)據(jù)集合等流程。在一個成熟的數(shù)據(jù)驅(qū)動型公司，“大數(shù)據(jù)工程師”往往是一個團隊，意味著從數(shù)據(jù)的收集、整理展現(xiàn)、分析和商業(yè)洞察、以至于市場轉(zhuǎn)化的全過程。這個團隊中可能包括數(shù)據(jù)工程師、分析師、產(chǎn)品專員、市場專員和商業(yè)決策者等角色，共同完成從原始數(shù)據(jù)到商業(yè)價值的轉(zhuǎn)換—概括來講，這是一個支持企業(yè)做出商業(yè)決策、發(fā)掘商業(yè)模式的重要群體。由于國內(nèi)的大數(shù)據(jù)工作還處在一個有待開發(fā)的階段，因此能從其中挖掘出多少價值完全取決于工程師的個人能力。已經(jīng)身處這個行業(yè)的專家給出了一些人才需求的大體框架，包括要有計算機編碼能力、數(shù)學及統(tǒng)計學相關(guān)背景，當然如果能對一些特定領(lǐng)域或行業(yè)有比較深入的了解，對于其快速判斷并抓準關(guān)鍵因素則更有幫助。想了解更多關(guān)于大數(shù)據(jù)工程師的相關(guān)詳情，推薦咨詢達內(nèi)教育。該機構(gòu)致力于面向IT互聯(lián)網(wǎng)行業(yè)，培養(yǎng)軟件開發(fā)工程師、測試工程師、UI設計師、網(wǎng)絡營銷工程師、會計等職場人才，擁有行業(yè)內(nèi)完善的教研團隊，強大的師資力量，200余位總監(jiān)級講師，1000余名教研人員，確保學員利益，全方位保障學員學習；更是與多家企業(yè)簽訂人才培養(yǎng)協(xié)議，全面助力學員更好就業(yè)。
V大米爸爸V
學大數(shù)據(jù)沒有學歷要求。1.大數(shù)據(jù)是指在一定時間范圍內(nèi)，傳統(tǒng)軟件工具無法捕獲、管理和處理的數(shù)據(jù)集。它是一種海量、高增長率、多樣化的信息資產(chǎn)，需要一種新的處理模式來擁有更強的決策能力、洞察力和發(fā)現(xiàn)能力以及流程優(yōu)化能力。大數(shù)據(jù)有五個特點：容量、速度、多樣性、低值密度和準確性。它沒有統(tǒng)計抽樣方法，只是觀察和跟蹤發(fā)生了什么。大數(shù)據(jù)的使用往往是預測分析、用戶行為分析或其他一些先進的數(shù)據(jù)分析方法。2.學習大數(shù)據(jù)技術(shù)不需要學歷，但要成為初級大數(shù)據(jù)工程師，你必須擁有至少2年的中專學歷；如果你想成為中級大數(shù)據(jù)工程師，你必須擁有至少4年的中專學歷；如果你想成為一名高級大數(shù)據(jù)工程師，你必須擁有至少6年的中專學歷。3.大數(shù)據(jù)工程師可以從事大量數(shù)據(jù)的收集、清理、分析、管理和挖掘，以及使用、管理、維護和服務這些數(shù)據(jù)的相關(guān)技術(shù)工作。2020年5月15日，國家郵電人才交流中心發(fā)布《關(guān)于開展大數(shù)據(jù)工程師專業(yè)技術(shù)水平考試的通知》（郵電人才[2020]15號），標志著我國大數(shù)據(jù)工程師專業(yè)技術(shù)水平考試體系的建立。本文件明確將促進大數(shù)據(jù)專業(yè)技術(shù)人員理論和技能水平的提高。
優(yōu)質(zhì)工程師考試問答知識庫
