1.基本情況 2.最近一段時(shí)間的工作經(jīng)驗(yàn) 介紹一個(gè)你最熟悉 技術(shù)棧最豐富的項(xiàng)目(當(dāng)前項(xiàng)目的價(jià)值及項(xiàng)目的技術(shù)體系 你負(fù)責(zé)的主要模塊以及你解決的主要問題) 3.對(duì)該公司的了解,行業(yè)解決方案 我要改進(jìn)一下我的項(xiàng)目,項(xiàng)目太拉胯了...... 如何陳述我的項(xiàng)目: 核心部分,技術(shù)棧 總分 HR:內(nèi)部的福利內(nèi)容 晉升機(jī)制 公司的規(guī)模(技術(shù)組) 技術(shù)官:內(nèi)部的技術(shù)培訓(xùn) 有沒有內(nèi)部的技術(shù)分享 公司在當(dāng)前行業(yè)解決方案中用了哪些技術(shù),我回去學(xué)習(xí)一下 大表join大表的問題怎么處理 hive數(shù)據(jù)傾斜的處理方法 spark中的shuffle機(jī)制 join機(jī)制 shuffle底層的shufflerdd算法等 維度建模的方法論與實(shí)際生產(chǎn)結(jié)合起來 表和表之間的關(guān)系 您好面試官,我叫.....,來自....我面試的崗位是數(shù)倉工程師 我在上一家公司主要做的是ETL的開發(fā),與業(yè)務(wù)系統(tǒng)的DBA同事溝通交流,處理數(shù)據(jù)的增量和全量的導(dǎo)入問題,與前端同時(shí)溝通數(shù)據(jù)的埋點(diǎn)相關(guān)工作,以及處理數(shù)據(jù)完整性和規(guī)范性的問題,用戶主題模塊的維護(hù)和報(bào)表的開發(fā)工作,用戶連續(xù)登陸,留存問題,活躍度問題,訪問間隔問題,訪問偏好問題,用戶的基本畫像標(biāo)簽的開發(fā)工作,指標(biāo)報(bào)表的開發(fā)(例如哪類書籍閱讀的人數(shù)多,由電子書轉(zhuǎn)化到實(shí)體書的轉(zhuǎn)化率是多少),還有平時(shí)一些活動(dòng)指標(biāo)的開發(fā)(這次的活動(dòng)做的怎么樣).第三個(gè)部分是負(fù)責(zé)庫存模塊的開發(fā)和設(shè)計(jì),與零售模塊的統(tǒng)一,是我做的最有挑戰(zhàn)的事情 我對(duì)....你們公司的了解,大學(xué)期間我也考取了相關(guān)的證書,對(duì)你們的行業(yè)業(yè)務(wù)也有所了解,我認(rèn)為精準(zhǔn)營(yíng)銷和質(zhì)量的指標(biāo)分析和建模是重要的 對(duì)于我的技術(shù)棧(主要的) hadoop hive spark flink(目前正在學(xué)習(xí)) 首先提出難題:溝通的問題 大表和大表的join的性能問題 對(duì)shuffle的處理 數(shù)據(jù)傾斜的處理 SQL可解釋性和結(jié)構(gòu)化的處理 數(shù)據(jù)倉庫系統(tǒng)的可迭代工作 spark算子的優(yōu)化工作 緩慢變化維的處理 (引導(dǎo)面試官來問你這些問題) 有一個(gè)重要的注意事項(xiàng)是:要結(jié)合公司的業(yè)務(wù)來講述項(xiàng)目.避免空洞 重點(diǎn)介紹維度建模(庫存的方法論),照著我那個(gè)庫存模塊的示例來講就行了 對(duì)于用戶主題模塊的報(bào)表的分析與邏輯化(好好梳理一下) 基于流量用戶主題的分析,基于日志采集enent_app_detail表進(jìn)行輕度的聚合(按照session字段)生成我們的數(shù)倉架構(gòu)的一張非常重要的一張表traffic_aggr_session ,基于這樣表我們可以衍生出流量聚合表,多維組合表,同時(shí)我們可以對(duì)用戶進(jìn)行分析,例如生成我們的用戶活躍度表(我們可以分析的指標(biāo)有用戶留存 轉(zhuǎn)化 連續(xù)登陸 連續(xù)活躍 訪問間隔 新用戶留存報(bào)表以及用戶事件分析報(bào)表的開發(fā) ),同時(shí)我們經(jīng)常會(huì)有一些優(yōu)惠的活動(dòng)我們就需要對(duì)該活動(dòng)進(jìn)行分析,例如是漏斗分析 歸因分析 點(diǎn)擊分析,行為路徑 等(基于我hexo上的博客) 我在工作中的一些困難,例如數(shù)據(jù)質(zhì)量的問題(數(shù)據(jù)治理),對(duì)于多源數(shù)據(jù)過程的數(shù)據(jù)捕獲的問題,還有歸因分析的處理 對(duì)于整個(gè)數(shù)倉架構(gòu)的描述: 我們的項(xiàng)目分為這樣幾個(gè)部分:數(shù)據(jù)的采集和埋點(diǎn) 業(yè)務(wù)數(shù)據(jù)系統(tǒng)數(shù)據(jù)的增量和全量的導(dǎo)入 DWD層維度建模的方法論 DWS層的大寬表的建立 待補(bǔ)充....... 用戶獲取、用戶激活、用戶留存、用戶收益以及用戶傳播。(AARRR) 表名的設(shè)計(jì) 數(shù)據(jù)采集標(biāo)簽 ABT DNA