久久影视这里只有精品国产,激情五月婷婷在线,久久免费视频二区,最新99国产小视频

        • 回答數(shù)

          5

        • 瀏覽數(shù)

          170

        涅槃0531
        首頁 > 工程師考試 > 大數(shù)據(jù)工程師工作強(qiáng)度

        5個回答 默認(rèn)排序
        • 默認(rèn)排序
        • 按時間排序

        大嘴小鯊魚

        已采納

        大數(shù)據(jù)近年來越來越火,因為有了它,好像什么行業(yè)都能精準(zhǔn)分析。但是,大數(shù)據(jù)本身的發(fā)展卻很少有人分析。近日,國家信息中心、南海大數(shù)據(jù)應(yīng)用研究院聯(lián)合發(fā)布了《2017中國大數(shù)據(jù)發(fā)展報告》,首次把中國大數(shù)據(jù)本身的發(fā)展特點和存在的問題,全面呈現(xiàn)了出來。用大數(shù)據(jù)來了解大數(shù)據(jù)這份報告全面匯聚了國家發(fā)改委互聯(lián)網(wǎng)大數(shù)據(jù)分析中心、國家信息中心、“一帶一路”大數(shù)據(jù)中心所掌握的30多個種類,總計40多億條相關(guān)數(shù)據(jù),綜合運(yùn)用多種大數(shù)據(jù)分析方法,對我國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展進(jìn)行了全面分析。所以,稱得上是用大數(shù)據(jù)來了解大數(shù)據(jù)。北京、廣東、上海大數(shù)據(jù)發(fā)展位居前三報告顯示,我國大數(shù)據(jù)發(fā)展總體處于起步階段。但是從地域上看,就有意思了。國家信息中心信息化研究部副主任、南海大數(shù)據(jù)應(yīng)用研究院院長于施洋指出:“從地域分布,從各個省來說,北京排第一,這個不足為怪,東部沿海地區(qū)這些省份排在前面,大家也都能夠想象。但是在西南地區(qū),四川、重慶、貴州這三個地方異軍突起,是我們大數(shù)據(jù)發(fā)展的第二個增長極?!碑a(chǎn)業(yè)落后是地方大數(shù)據(jù)發(fā)展的突出短板具體來看,各省份大數(shù)據(jù)發(fā)展指數(shù)的排名中,貴州、重慶、四川,緊隨東部沿海省份,全部排進(jìn)了前十名,領(lǐng)先任何一個中部省份。分析認(rèn)為,這主要是地方政策引領(lǐng)的結(jié)果。這三個西部省市,早早都把大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展作為重點工程來打造。對于這種“彎道超車”現(xiàn)象,國家行政學(xué)院教授汪玉凱建議,這些地方下一步可以重點考慮產(chǎn)業(yè)落地問題:“它們是首先抓住了一個概念,然后占了一個先機(jī)。但是相對能夠落地的產(chǎn)業(yè)應(yīng)用還是比較少的,這是它們的軟肋。所以我認(rèn)為,你們一定要注意應(yīng)用,要打造你的優(yōu)勢?!比瞬哦倘眴栴}日益突出報告指出,數(shù)據(jù)管理環(huán)節(jié)漏洞較多,是大數(shù)據(jù)發(fā)展面臨的首要問題,包括由此引發(fā)的運(yùn)營成本過高、資源利用率低、應(yīng)用部署過于復(fù)雜等難點。而我們更關(guān)注的是另一大問題。我們會發(fā)現(xiàn),大數(shù)據(jù)領(lǐng)域里數(shù)據(jù)是有了,但是能駕馭這些數(shù)據(jù)的人是極其匱乏的。比如說大數(shù)據(jù)的專業(yè)人才方面,現(xiàn)在分析類的人才,市場是供不應(yīng)求,缺口非常大,而項目管理類的人才,供給又遠(yuǎn)遠(yuǎn)大于需求,所以結(jié)構(gòu)上還不平衡。高端的人才奇缺,這是最突出的問題。”發(fā)展大數(shù)據(jù)要謹(jǐn)防人才“眼高手低”大數(shù)據(jù)的核心就是數(shù)據(jù)的抓取與分析,而分析環(huán)節(jié),目前離不開人工設(shè)置變量,建立模型。所謂“差之毫厘,謬之千里”,大數(shù)據(jù)分析對人才的要求很高。但首份大數(shù)據(jù)發(fā)展報告卻揭示,我國大數(shù)據(jù)人才能搞管理的不少,真正能做分析的卻遠(yuǎn)遠(yuǎn)不夠,這是典型的“眼高手低”,勢必傷害大數(shù)據(jù)產(chǎn)業(yè)的長遠(yuǎn)發(fā)展。人才短板可以從教育方面著手彌補(bǔ),探索新的人才培養(yǎng)模式。比如,將高校大數(shù)據(jù)系列課程分為理論教學(xué)和技術(shù)教學(xué)兩方面;比如社會上優(yōu)質(zhì)的專注大數(shù)據(jù)人才培養(yǎng)機(jī)構(gòu)等多方面進(jìn)行。

        大數(shù)據(jù)工程師工作強(qiáng)度

        266 評論(9)

        文燕大俠

        大數(shù)據(jù)工程師負(fù)責(zé)創(chuàng)建和維護(hù)分析基礎(chǔ)架構(gòu),該基礎(chǔ)架構(gòu)幾乎可以支持?jǐn)?shù)據(jù)世界中的所有其他功能。他們負(fù)責(zé)大數(shù)據(jù)架構(gòu)的開發(fā)、構(gòu)建、維護(hù)和測試,例如數(shù)據(jù)庫和大數(shù)據(jù)處理系統(tǒng)。大數(shù)據(jù)工程師還負(fù)責(zé)創(chuàng)建用于建模,挖掘,獲取和驗證數(shù)據(jù)集合等流程。

        1、負(fù)責(zé)公司大數(shù)據(jù)平臺產(chǎn)品的技術(shù)工作,包括需求分析、架構(gòu)設(shè)計、研發(fā)、以及性能分析工作;

        2、負(fù)責(zé)整體提升Hadoop集群的高可用性、高性能、高擴(kuò)展特性,已有的大數(shù)據(jù)平臺架構(gòu)的維護(hù)工作;

        3、負(fù)責(zé)海量數(shù)據(jù)的導(dǎo)入優(yōu)化工作;

        4、整理和完善各類文檔。

        大數(shù)據(jù)工程師需要具有良好的溝通能力、優(yōu)秀的分析問題和問題解決能力;具備強(qiáng)烈的進(jìn)取心和團(tuán)隊合作精神;具備數(shù)據(jù)庫系統(tǒng)的基本理論知識。

        1、linux

        大數(shù)據(jù)集群主要建立在linux操作系統(tǒng)上,Linux是一套免費使用和自由傳播的類Unix操作系統(tǒng)。而這部分的內(nèi)容是大家在學(xué)習(xí)大數(shù)據(jù)中必須要學(xué)習(xí)的,只有學(xué)好Linux才能在工作中更加的得心應(yīng)手。

        2、Hadoop

        我覺的大家聽過大數(shù)據(jù)就一定會聽過hadoop。Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行離線分布式處理的軟件框架,運(yùn)算時利用maprebaice對數(shù)據(jù)進(jìn)行處理。

        3、Java

        只需要學(xué)習(xí)Java的標(biāo)準(zhǔn)版JavaSE就可以了,像Servlet、JSP、Tomcat、Struts、Spring、Hibernate,Mybatis都是JavaEE方向的技術(shù)在大數(shù)據(jù)技術(shù)里用到的并不多,只需要了解就可以了,當(dāng)然Java怎么連接數(shù)據(jù)庫還是要知道的,像JDBC一定要掌握一下。

        261 評論(13)

        MING0720HK

        【導(dǎo)讀】時至今日,相信大家對大數(shù)據(jù)工程師一點也不陌生,作為時下比較熱門的高薪職業(yè),很多人想轉(zhuǎn)行做大數(shù)據(jù)工程師,那么你知道大數(shù)據(jù)工程師的日常工作做什么?工作強(qiáng)度大不大呢?為此小編整理了以下內(nèi)容,一起來看看吧!1, 寫 SQL :一般來說許多入職一兩年的大數(shù)據(jù)工程師首要的工作就是寫 SQL ;2 ,為集群搭大數(shù)據(jù)環(huán)境(一般公司招大數(shù)據(jù)工程師環(huán)境都現(xiàn)已搭好了,公司內(nèi)部會有現(xiàn)成的大數(shù)據(jù)途徑);3 ,維護(hù)大數(shù)據(jù)途徑(這個應(yīng)該是每個大數(shù)據(jù)工程師都做過的工作,或多或少會承擔(dān)“運(yùn)維”的工作);4, 數(shù)據(jù)搬家(有部分公司需求把數(shù)據(jù)從傳統(tǒng)的數(shù)據(jù)庫 Oracle、MySQL 等數(shù)據(jù)搬家到大數(shù)據(jù)集群中,這個是比較繁瑣的工作);5 ,運(yùn)用搬家(有部分公司需求把運(yùn)用從傳統(tǒng)的數(shù)據(jù)庫 Oracle、MySQL等數(shù)據(jù)庫的存儲進(jìn)程程序或許SQL腳本搬家到大數(shù)據(jù)途徑上,這個進(jìn)程也是非常繁瑣的工作,高度重復(fù)且雜亂)6 ,數(shù)據(jù)收集(收集日志數(shù)據(jù)、文件數(shù)據(jù)、接口數(shù)據(jù),這個觸及到各種格式的轉(zhuǎn)化,一般用得比較多的是 Flume 和 Logstash)7, 數(shù)據(jù)處理 ,離線數(shù)據(jù)處理(這個一般就是寫寫 SQL 然后扔到 Hive 中跑,其實和首要點有點重復(fù)了) ,實時數(shù)據(jù)處理(這個觸及到音訊部隊,Kafka,Spark,F(xiàn)link 這些,組件,一般就是 Flume 收集到數(shù)據(jù)發(fā)給 Kafka 然后Spark 消費 Kafka 的數(shù)據(jù)進(jìn)行處理)8 ,數(shù)據(jù)可視化(這個我司是用 Spring Boot 聯(lián)接后臺數(shù)據(jù)與前端,前端用自己魔改的 echarts)9 ,大數(shù)據(jù)途徑開發(fā)(偏Java方向的,大約就是把開源的組件整合起來整成一個可用的大數(shù)據(jù)途徑這樣,常見的是各種難用的 PaaS 途徑)10,數(shù)據(jù)中臺開發(fā)(中臺需求支撐接入各種數(shù)據(jù)源,把各種數(shù)據(jù)源清洗轉(zhuǎn)化為可用的數(shù)據(jù),然后再根據(jù)原始數(shù)據(jù)建立起寬表層,一般為了節(jié)省開發(fā)本錢和服務(wù)器資源,都是根據(jù)寬表層查詢出業(yè)務(wù)數(shù)據(jù))11 ,建立數(shù)據(jù)倉庫(這兒的數(shù)據(jù)倉庫的建立不是指 Hive ,Hive 是建立數(shù)倉的東西,數(shù)倉建立一般會分為三層 ODS、DW、DM層,其間DW是最重要的,它又能夠分為DWD,DWM,DWS,這個層級僅僅邏輯上的概念,類似于把表名按照層級差異隔來的操作,分層的目的是防止開發(fā)數(shù)據(jù)運(yùn)用的時分直接訪問底層數(shù)據(jù),能夠減少資源,留意,減少資源開支是減少內(nèi)存 和 CPU的開支,分層后磁盤占用會大大增加,磁盤不值錢所以沒什么聯(lián)絡(luò),分層能夠使數(shù)據(jù)表的邏輯更加清楚,便當(dāng)進(jìn)一步的開發(fā)操作,假定分層沒有做好會導(dǎo)致邏輯紊亂,新來的員工難以接手業(yè)務(wù),跋涉公司的運(yùn)營本錢,還有這個建數(shù)倉也分為建離線和實時的)以上就是小編今天給大家整理發(fā)送的關(guān)于“大數(shù)據(jù)工程師的日常工作做什么?”的相關(guān)內(nèi)容,希望對大家有所幫助。想了解更多關(guān)于大數(shù)據(jù)工程師要求具備的能力,關(guān)注小編持續(xù)更新。

        225 評論(13)

        大萌萌Alice

        1 寫 SQL (很多入職一兩年的大數(shù)據(jù)工程師主要的工作就是寫 SQL )2 為集群搭大數(shù)據(jù)環(huán)境(一般公司招大數(shù)據(jù)工程師環(huán)境都已經(jīng)搭好了,公司內(nèi)部會有現(xiàn)成的大數(shù)據(jù)平臺,但我這邊會私下搞一套測試環(huán)境,畢竟公司內(nèi)部的大數(shù)據(jù)系統(tǒng)權(quán)限限制很多,嚴(yán)重影響開發(fā)效率)3 維護(hù)大數(shù)據(jù)平臺(這個應(yīng)該是每個大數(shù)據(jù)工程師都做過的工作,或多或少會承擔(dān)“運(yùn)維”的工作)4 數(shù)據(jù)遷移(有部分公司需要把數(shù)據(jù)從傳統(tǒng)的數(shù)據(jù)庫 Oracle、MySQL 等數(shù)據(jù)遷移到大數(shù)據(jù)集群中,這個是比較繁瑣的工作,吃力不討好)5 應(yīng)用遷移(有部分公司需要把應(yīng)用從傳統(tǒng)的數(shù)據(jù)庫 Oracle、MySQL 等數(shù)據(jù)庫的存儲過程程序或者SQL腳本遷移到大數(shù)據(jù)平臺上,這個過程也是非常繁瑣的工作,無聊,高度重復(fù)且麻煩,吃力不討好)6 數(shù)據(jù)采集(采集日志數(shù)據(jù)、文件數(shù)據(jù)、接口數(shù)據(jù),這個涉及到各種格式的轉(zhuǎn)換,一般用得比較多的是 Flume 和 Logstash)7 數(shù)據(jù)處理 離線數(shù)據(jù)處理(這個一般就是寫寫 SQL 然后扔到 Hive 中跑,其實和第一點有點重復(fù)了) 實時數(shù)據(jù)處理(這個涉及到消息隊列,Kafka,Spark,F(xiàn)link 這些,組件,一般就是 Flume 采集到數(shù)據(jù)發(fā)給 Kafka 然后 Spark 消費 Kafka 的數(shù)據(jù)進(jìn)行處理)8 數(shù)據(jù)可視化(這個我司是用 Spring Boot 連接后臺數(shù)據(jù)與前端,前端用自己魔改的 echarts)9 大數(shù)據(jù)平臺開發(fā)(偏Java方向的,大概就是把開源的組件整合起來整成一個可用的大數(shù)據(jù)平臺這樣,常見的是各種難用的 PaaS 平臺)10 數(shù)據(jù)中臺開發(fā)(中臺需要支持接入各種數(shù)據(jù)源,把各種數(shù)據(jù)源清洗轉(zhuǎn)換為可用的數(shù)據(jù),然后再基于原始數(shù)據(jù)搭建起寬表層,一般為了節(jié)省開發(fā)成本和服務(wù)器資源,都是基于寬表層查詢出業(yè)務(wù)數(shù)據(jù))11 搭建數(shù)據(jù)倉庫(這里的數(shù)據(jù)倉庫的搭建不是指 Hive ,Hive 是搭建數(shù)倉的工具,數(shù)倉搭建一般會分為三層 ODS、DW、DM 層,其中DW是最重要的,它又可以分為DWD,DWM,DWS,這個層級只是邏輯上的概念,類似于把表名按照層級區(qū)分開來的操作,分層的目的是防止開發(fā)數(shù)據(jù)應(yīng)用的時候直接訪問底層數(shù)據(jù),可以減少資源,注意,減少資源開銷是減少 內(nèi)存 和 CPU 的開銷,分層后磁盤占用會大大增加,磁盤不值錢所以沒什么關(guān)系,分層可以使數(shù)據(jù)表的邏輯更加清晰,方便進(jìn)一步的開發(fā)操作,如果分層沒有做好會導(dǎo)致邏輯混亂,新來的員工難以接手業(yè)務(wù),提高公司的運(yùn)營成本,還有這個建數(shù)倉也分為建離線和實時的)總之就是離不開寫 SQL ...

        326 評論(11)

        百度地圖運(yùn)營

        是的,你說甲方明天要個東西,你晚上不做也不行呀。很苦逼的。

        339 評論(12)

        相關(guān)問答