大數(shù)據(jù)培訓(xùn)技術(shù)工程師面試
chaorenxiaoling
聽雨9014
只要數(shù)據(jù)量級大(或者是數(shù)據(jù)復(fù)雜度，或者是其他方面的量級大)到普通的處理方法無法處理地實際上都可以算作是大數(shù)據(jù)開發(fā)，只不過一般大數(shù)據(jù)開發(fā)目前招聘的很多都是做數(shù)據(jù)處理的。有如下幾個方向:1)數(shù)據(jù)挖掘是大數(shù)據(jù)處理地一個方向，這里做數(shù)據(jù)挖掘要有一些統(tǒng)計學(xué)基礎(chǔ)才能做，目前數(shù)據(jù)挖掘的方向其實不是很明確，和人工智能，機械學(xué)習(xí)也有一些關(guān)系，如果是做數(shù)據(jù)挖掘，基本的數(shù)據(jù)會由數(shù)據(jù)平臺部或數(shù)據(jù)運維部門提供2)數(shù)據(jù)平臺的開發(fā)(這里的平臺開發(fā)在不同公司的內(nèi)容又不一樣，小公司可能是根據(jù)公司業(yè)務(wù)做一套完整的數(shù)據(jù)分析系統(tǒng)，大公司這個職位可能是一些開源組件的二次開發(fā))3)大數(shù)據(jù)運維方向:比如hadoop，spark集群的運維，涉及到ha等內(nèi)容4)大數(shù)據(jù)分析方向:有的公司會將職責(zé)細化，招聘一些專業(yè)的分析人員，去寫hql或者是其它類sql來對數(shù)據(jù)進行分析最后，其實大數(shù)據(jù)平臺相關(guān)工作的劃分并不清晰，行業(yè)里沒有統(tǒng)一標(biāo)準(zhǔn)，大公司小公司情況不同。關(guān)于技術(shù)方向更是用什么的都有，比如有的公司用spark，有的用impala，還有的用clickhouse等，最近flink也逐漸進入大家的視野。所以在找工作時應(yīng)該要考慮的是自己的強項是什么，同時在選擇工作時要考慮到這個工作在做了三五年后，從這家公司出來還能不能找到工作。我個人的建議是如果你會java,那不要脫離java(scala)語言去做大數(shù)據(jù)開發(fā)，也不要專業(yè)只去做數(shù)據(jù)分析工作，大數(shù)據(jù)行業(yè)目前仍舊有一些泡沫(個人看法)，很多組件仍舊是基于java的，一旦脫離java語言本身，那源碼閱讀，二次開發(fā)都會有問題，同時生產(chǎn)環(huán)境自動化去執(zhí)行一些代碼也是需要語言支持的，或者最差的預(yù)估，如果大數(shù)據(jù)行業(yè)嚴(yán)重縮水(比如某些公司可以分析，可以挖掘的內(nèi)容有限)，可以隨時轉(zhuǎn)到j(luò)ava服務(wù)器開發(fā)方向。
護手霜adb
【導(dǎo)語】近年來，大數(shù)據(jù)發(fā)展如火如荼，很多人都選擇學(xué)習(xí)大數(shù)據(jù)專業(yè)或者轉(zhuǎn)行大數(shù)據(jù)，大數(shù)據(jù)里又包含很多就業(yè)崗位，所以在進行崗位選擇的時候，還是需要大家合理選擇，為了幫助大家更好的進入大數(shù)據(jù)行業(yè)執(zhí)業(yè)，下面就把2021年大數(shù)據(jù)工程師面試內(nèi)容給大家進行一下具體介紹。
1、自我介紹
一般上來就是自我介紹，談下工作經(jīng)歷和項目經(jīng)驗，面試官會根據(jù)你的項目經(jīng)驗對你進行技術(shù)面試。在自我介紹時，一定要抓住核心說，不要太啰嗦，盡量放大自己的價值，讓面試官感受到你對工作的熱情，以及以后對公司貢獻的能力。
2、數(shù)倉開發(fā)知識技能
(1)Java是必問的，不過問的不深，把Javase部分吃透，足以應(yīng)付Java部分的面試。
(2)Hadoop生態(tài)，Yarn、Zookeeper、HDFS這些底層原理要懂，面試經(jīng)常被問。
(3)Mapreduce的shuffle過程這個也是面試被常問的。
(4)Hbase和HIve，搞大數(shù)據(jù)這些不懂真的說不過去。
(5)Mysql、Oracle和Postgres數(shù)據(jù)庫操作要回，Sql要會寫。
(6)linux操作系統(tǒng)，這個簡單得命令必須要懂，會寫shell腳本更好了。
(7)Kettle或Sqoop這種數(shù)據(jù)處理工具至少要會一個。8，數(shù)據(jù)倉庫建模、數(shù)據(jù)模型的問題。
3、技術(shù)方面知識技能
(1)SparkSql和SparkStreaming，底層原理、內(nèi)核、提交任務(wù)的過程等等，盡量深入內(nèi)幕，這個經(jīng)常會跟MapReduce作比較的。當(dāng)然也要了解Storm和Flink，F(xiàn)link這個建議要學(xué)會，以后用處會越來越廣。
(2)Redis、Kafka、ElasticSearch這些都得懂原理，深入了解，會使用，會操作，會調(diào)優(yōu)。
(3)impala和kylin這些盡量也要了解會用
(4)Python這個要是有能力，有精力，建議也要往深處學(xué)習(xí)，我目前正在自學(xué)中。
(5)集群的問題，包括一些簡單的運維知識。
(6)大數(shù)據(jù)數(shù)據(jù)傾斜的問題，包括Spark JVM內(nèi)存調(diào)優(yōu)問題等等。
關(guān)于2021年大數(shù)據(jù)工程師面試內(nèi)容，就給大家介紹到這里了，希望對大家能有所幫助，當(dāng)然進入大數(shù)據(jù)行業(yè)，還需要大家在平時不斷進行技能提升，這樣才能更好的擁有一席之地。
乖乖鄧子
1、面試過程是一次高效的交流
首先，我覺得面試官有責(zé)任保證面試過程是一次高效的交流。你要獲取到你需要的信息，對面試者做全方位的考量;面試者也要獲取到他需要的信息，面試官(若面試成功很大可能是自己的上級)的水平，公司技術(shù)要求水平，自己是否適合這家公司，公司是否需要自己。
面試是一個雙向選擇的過程，面試官在選人，面試者在選公司。而面試者了解這家公司最直接的途徑就是通過面試官。
2、面試官
說說面試官，我先說幾個面試官常會有的問題。問題問得太跳躍，想到什么問什么。抓住一個面試官自己很熟的知識點或者方向往死里問 ，完全不會根據(jù)面試者的回答情況做調(diào)整(我是來面試的，不是來看你炫技的)。
3、技術(shù)問題
只問技術(shù)，不問業(yè)務(wù)，技術(shù)問題問得太表面，當(dāng)然我也見過不錯的面試官，問題問得很有水平。那有水平的面試官會給人什么樣的感覺?答得很舒服，不管結(jié)果怎么樣，總之能展現(xiàn)出自己應(yīng)有的水平面試過程是有收獲的，沒有白來，知道了自己的欠缺，如果面試者是個到處搶著要的高手，那你有水平的提問會給這個面試者留下深刻印象，畢竟大家都是喜歡和厲害的人當(dāng)同事的。
4、提問
說說提問，思路想法，表達能力，技術(shù)功底，熱情。這幾個點我是比較看重的。很多問題都是圍繞著這幾個點展開的，大家看下有沒有借鑒意義。
優(yōu)質(zhì)工程師考試問答知識庫