大數(shù)據(jù)開發(fā)工程師的基本職責-崗位職責

在學習、工作、生活中，很多情況下我們都會接觸到崗位職責，明確崗位職責能讓員工知曉和掌握崗位職責，能夠最大化的進行勞動用工管理，科學的進行人力配置，做到人盡其才、人崗匹配。我們該怎么制定崗位職責呢？以下是我為大家整理的大數(shù)據(jù)開發(fā)工程師的基本職責-崗位職責，僅供參考，歡迎大家閱讀。

職責：

1、參與大數(shù)據(jù)平臺搭建以及項目技術架構。

2、數(shù)據(jù)分析，挖掘，模型具體的產(chǎn)品化；

3、根據(jù)產(chǎn)品需求，分析編寫和制定大數(shù)據(jù)相關解決方案

崗位要求：

1、計算機相關專業(yè)本科以上學歷，編程基礎扎實，有2年以上大數(shù)據(jù)開發(fā)經(jīng)驗

2、熟悉Hadoop生態(tài)和體系架構，熟悉Flink、Spark，Hive等常用開源工具

3、熟悉Flume，kakfa，scribe等日志收集體系

4、熟悉主流數(shù)據(jù)庫（Oracle、postgresql、Mysql、Sql Server）中的1種及以上，有較好的SQL性能調(diào)優(yōu)經(jīng)驗

5、有數(shù)據(jù)倉庫ETL經(jīng)驗者優(yōu)先

6、有用戶行為日志采集、海量數(shù)據(jù)處理、數(shù)據(jù)建模方面經(jīng)驗者優(yōu)先

7、有持續(xù)學習的能力；喜歡開源軟件，樂于知識分享；對工作認真負責；可以獨立承擔較大工作壓力

職責：

1、數(shù)字貨幣領域數(shù)據(jù)統(tǒng)計分析，負責數(shù)字貨幣量化投資策略的設計、管理以及實際投資運作

2、與交易員對接，制定切實可行的的'策略測試計劃，開展新策略模型的開發(fā)和驗證

3、協(xié)助交易員進行交易、風險管理，并對實際交易結果進行量化的績效分析，推動交易自動化

4、上級交辦的其他工作

任職要求：

1、數(shù)學/計算機/金融專業(yè)畢業(yè)，有扎實的算法和機器學習的理論基礎

2、有量化實盤交易經(jīng)驗，具備豐富的數(shù)學建模經(jīng)驗及較強的數(shù)據(jù)處理能力優(yōu)先

3、對金融市場的價格波動有獨特理解和深入的量化分析，具備一定對沖策略研究經(jīng)驗；

4、對數(shù)字貨幣領域感興趣，結果導向；

5、有網(wǎng)頁抓取和爬蟲程序編寫經(jīng)驗者優(yōu)先。

職責：

1、大數(shù)據(jù)日志分析系統(tǒng)的設計，選型和開發(fā)；

2、配合各業(yè)務給予數(shù)據(jù)支持，對產(chǎn)品和運營數(shù)據(jù)總結和優(yōu)化；

3、處理用戶海量數(shù)據(jù)，提取、分析、歸納用戶屬性，行為等信息，完成分析結果；

4、發(fā)現(xiàn)并指出數(shù)據(jù)異常情況，分析數(shù)據(jù)合理性；

5、公司大數(shù)據(jù)基礎架構平臺的運維，保障數(shù)據(jù)平臺服務的穩(wěn)定性和可用性；

6、大數(shù)據(jù)基礎架構平臺的監(jiān)控、資源管理、數(shù)據(jù)流管理；

7、基于數(shù)據(jù)分析的可預測的云平臺彈性擴展解決方案。

任職要求：

1、日志分析數(shù)據(jù)系統(tǒng)實際經(jīng)驗；

2、3年以上互聯(lián)網(wǎng)行業(yè)研發(fā)經(jīng)驗，有使用Hadoop/hive/spark分析海量數(shù)據(jù)的能力；

3、掌握Hadoop、Flume，Kafka、Zookeeper、HBase、Spark的安裝與調(diào)試；

4、熟悉大數(shù)據(jù)周邊相關的數(shù)據(jù)庫系統(tǒng)，關系型數(shù)據(jù)庫和NoSQL。

5、掌握Linux操作系統(tǒng)的配置，管理及優(yōu)化，能夠獨立排查及解決操作系統(tǒng)層的各類問題；

6、有良好的溝通能力，具備出色的規(guī)劃、執(zhí)行力，強烈的責任感，以及優(yōu)秀的學習能力。

職責：

1、負責數(shù)據(jù)分析、加工、清理、處理程序的開發(fā)；

2、負責數(shù)據(jù)相關平臺的搭建、維護和優(yōu)化；

3、負責基于Hadoop/Spark/Hive/kafka等分布式計算平臺實現(xiàn)離線分析、實時分析的計算框架的開發(fā)；

崗位要求：

1、本科學歷須211院校以上，碩士及以上學歷不限院校，計算機軟件及相關專業(yè)

2、熟悉Java和Scala語言、熟悉常用設計模式、具有代碼重構意識；

3、熟練使用hadoop、hbase、Kafka、hive、spark、presto，熟悉底層框架和實現(xiàn)原理；

4、使用Spark Streaming和Spark SQL進行數(shù)據(jù)處理，并具有SPARK SQL優(yōu)化經(jīng)驗；

5、需要有至少2年開發(fā)經(jīng)驗，有flink開發(fā)經(jīng)驗優(yōu)先；

6、學習能力強，喜歡研究新技術，有團隊觀念，具備獨立解決問題的能力。

職責：

1、負責大數(shù)據(jù)平臺的基礎環(huán)境搭建與性能優(yōu)化，完成平臺的構建與維護、實時流計算平臺、分布式調(diào)度、可視化報表等平臺的架構與研發(fā)；

2、對各種開源框架進行深入的代碼剖析和優(yōu)化；

3、參與大數(shù)據(jù)技術方案評審；

4、指導初中級大數(shù)據(jù)工程師工作；

崗位要求：

1、計算機相關專業(yè)全日制?？萍耙陨蠈W歷，具有3年或以上的分布式計算平臺研發(fā)工作經(jīng)驗；

2。對大數(shù)據(jù)相關組件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架構與底層實現(xiàn)有深入理解，具備相應的定制和研發(fā)能力，尤其需要精通Flink框架；

3。具備構建穩(wěn)定的大數(shù)據(jù)基礎平臺的能力，具備數(shù)據(jù)收集、數(shù)據(jù)清洗、數(shù)據(jù)倉庫建設、實時流計算等系統(tǒng)研發(fā)經(jīng)驗；

4。對技術有熱情，有不錯的數(shù)據(jù)思維和敏感度，有一定的數(shù)據(jù)分析能力優(yōu)先，對深度學習、機器學習有一定的了解優(yōu)先；

5。工作有計劃性，責任心和執(zhí)行能力強，具備高度的責任心、誠信的工作作風、優(yōu)秀溝通能力及團隊精神。