大數(shù)據(jù)工程師面試
氣球飛哇
剎那恍惚28
大數(shù)據(jù)工程師?= 系統(tǒng)工程 + 大規(guī)模數(shù)據(jù)處理 + 數(shù)據(jù)分析 + 機(jī)器學(xué)習(xí) +?商業(yè)智能
大數(shù)據(jù)工程師首先是一個系統(tǒng)工程師，也是一個軟件工程師。同時(shí)，他還得有一些特定的技能，會做大規(guī)模數(shù)據(jù)處理，比如當(dāng)你的數(shù)據(jù)有PB量級甚至ZD量級時(shí)，你需要會Leverage云平臺等，通過幾千臺機(jī)器并行處理，解決大規(guī)模數(shù)據(jù)處理的問題。
大數(shù)據(jù)工程師還和數(shù)據(jù)科學(xué)家有重疊，二者都要有很強(qiáng)的數(shù)據(jù)分析能力，比如會用Matlab，R，Python等。僅僅做簡單的數(shù)據(jù)分析可能也不夠，大數(shù)據(jù)工程師還得做機(jī)器學(xué)習(xí)模型，最終我們希望大數(shù)據(jù)工程師做到的是商業(yè)智能。
大數(shù)據(jù)工程師的最終的目的，是幫助公司提供更好的用戶體驗(yàn)，做出最優(yōu)決策，獲取更多的利潤。他的工作成果是幫助企業(yè)挖掘出數(shù)據(jù)里的價(jià)值，從而實(shí)現(xiàn)Data-driven decision making。在個性化、在線廣告領(lǐng)域，大數(shù)據(jù)工程有巨大的商業(yè)價(jià)值，Yahoo，F(xiàn)acebook，Google的80%以上的收入都來源于廣告。通常，大數(shù)據(jù)工程師要解決的問題是，當(dāng)一個用戶在網(wǎng)站上出現(xiàn)時(shí)，如何顯示一個與該用戶喜好最相關(guān)的廣告，使他最有可能去點(diǎn)擊，從而提高公司的廣告收入，這些都是需要通過大數(shù)據(jù)分析和機(jī)器學(xué)習(xí)建模，幫助做決策。
如果你是New grad，面試官期望你熟練掌握一門面向?qū)ο蟮耐ㄓ谜Z言 (如Java)。如果你只會C++，進(jìn)公司后可能還是得去熟悉Java，因?yàn)楹芏鄷r(shí)候編程語言的選擇是與所用框架相關(guān)的， 比如Hadoop就是用Java編寫的，用C++寫Hadoop的應(yīng)用就不是很方便。
另外，熟悉一門腳本語言?，如Python，Go. R和Matlab不認(rèn)為是一個Decent的腳本語言。
對候選人更重要的要求是基本的程序設(shè)計(jì)素養(yǎng)。如果程序設(shè)計(jì)功底足夠好，熟悉一個新語言就是一兩周的事情，面試官可能會從他平時(shí)工作的項(xiàng)目里提煉一些問題，看你能不能找到合適的解決方案。
笑笑之笑0
【導(dǎo)語】近年來，大數(shù)據(jù)發(fā)展如火如荼，很多人都選擇學(xué)習(xí)大數(shù)據(jù)專業(yè)或者轉(zhuǎn)行大數(shù)據(jù)，大數(shù)據(jù)里又包含很多就業(yè)崗位，所以在進(jìn)行崗位選擇的時(shí)候，還是需要大家合理選擇，為了幫助大家更好的進(jìn)入大數(shù)據(jù)行業(yè)執(zhí)業(yè)，下面就把2021年大數(shù)據(jù)工程師面試內(nèi)容給大家進(jìn)行一下具體介紹。
1、自我介紹
一般上來就是自我介紹，談下工作經(jīng)歷和項(xiàng)目經(jīng)驗(yàn)，面試官會根據(jù)你的項(xiàng)目經(jīng)驗(yàn)對你進(jìn)行技術(shù)面試。在自我介紹時(shí)，一定要抓住核心說，不要太啰嗦，盡量放大自己的價(jià)值，讓面試官感受到你對工作的熱情，以及以后對公司貢獻(xiàn)的能力。
2、數(shù)倉開發(fā)知識技能
(1)Java是必問的，不過問的不深，把Javase部分吃透，足以應(yīng)付Java部分的面試。
(2)Hadoop生態(tài)，Yarn、Zookeeper、HDFS這些底層原理要懂，面試經(jīng)常被問。
(3)Mapreduce的shuffle過程這個也是面試被常問的。
(4)Hbase和HIve，搞大數(shù)據(jù)這些不懂真的說不過去。
(5)Mysql、Oracle和Postgres數(shù)據(jù)庫操作要回，Sql要會寫。
(6)linux操作系統(tǒng)，這個簡單得命令必須要懂，會寫shell腳本更好了。
(7)Kettle或Sqoop這種數(shù)據(jù)處理工具至少要會一個。8，數(shù)據(jù)倉庫建模、數(shù)據(jù)模型的問題。
3、技術(shù)方面知識技能
(1)SparkSql和SparkStreaming，底層原理、內(nèi)核、提交任務(wù)的過程等等，盡量深入內(nèi)幕，這個經(jīng)常會跟MapReduce作比較的。當(dāng)然也要了解Storm和Flink，F(xiàn)link這個建議要學(xué)會，以后用處會越來越廣。
(2)Redis、Kafka、ElasticSearch這些都得懂原理，深入了解，會使用，會操作，會調(diào)優(yōu)。
(3)impala和kylin這些盡量也要了解會用
(4)Python這個要是有能力，有精力，建議也要往深處學(xué)習(xí)，我目前正在自學(xué)中。
(5)集群的問題，包括一些簡單的運(yùn)維知識。
(6)大數(shù)據(jù)數(shù)據(jù)傾斜的問題，包括Spark JVM內(nèi)存調(diào)優(yōu)問題等等。
關(guān)于2021年大數(shù)據(jù)工程師面試內(nèi)容，就給大家介紹到這里了，希望對大家能有所幫助，當(dāng)然進(jìn)入大數(shù)據(jù)行業(yè)，還需要大家在平時(shí)不斷進(jìn)行技能提升，這樣才能更好的擁有一席之地。
飛龍?jiān)谔炝?/p>
1、您對“大數(shù)據(jù)”一詞有什么了解?
答： 大數(shù)據(jù)是與復(fù)雜和大型數(shù)據(jù)集相關(guān)的術(shù)語。關(guān)系數(shù)據(jù)庫無法處理大數(shù)據(jù)，這就是為什么使用特殊的工具和方法對大量數(shù)據(jù)執(zhí)行操作的原因。大數(shù)據(jù)使公司能夠更好地了解其業(yè)務(wù)，并幫助他們從定期收集的非結(jié)構(gòu)化和原始數(shù)據(jù)中獲取有意義的信息。大數(shù)據(jù)還使公司能夠根據(jù)數(shù)據(jù)做出更好的業(yè)務(wù)決策。
2、告訴我們大數(shù)據(jù)和Hadoop之間的關(guān)系。
答： 大數(shù)據(jù)和Hadoop幾乎是同義詞。隨著大數(shù)據(jù)的興起，專門用于大數(shù)據(jù)操作的Hadoop框架也開始流行。專業(yè)人士可以使用該框架來分析大數(shù)據(jù)并幫助企業(yè)做出決策。
注意： 在大數(shù)據(jù)采訪中通常會問這個問題。 可以進(jìn)一步去回答這個問題，并試圖解釋的Hadoop的主要組成部分。
3、大數(shù)據(jù)分析如何有助于增加業(yè)務(wù)收入?
答：大數(shù)據(jù)分析對于企業(yè)來說已經(jīng)變得非常重要。它可以幫助企業(yè)與眾不同，并增加收入。通過預(yù)測分析，大數(shù)據(jù)分析為企業(yè)提供了定制的建議。此外，大數(shù)據(jù)分析使企業(yè)能夠根據(jù)客戶的需求和偏好推出新產(chǎn)品。這些因素使企業(yè)獲得更多收入，因此公司正在使用大數(shù)據(jù)分析。通過實(shí)施大數(shù)據(jù)分析，公司的收入可能會大幅增長5-20%。一些使用大數(shù)據(jù)分析來增加收入的受歡迎的公司是-沃爾瑪，LinkedIn，F(xiàn)acebook，Twitter，美國銀行等。
優(yōu)質(zhì)工程師考試問答知識庫