每家公司的人才需求不同，對于技術(shù)要求也是不同，建議可以詳細(xì)的去了解一下，一般情況下來說，崗位職責(zé)包含以下幾種：1、負(fù)責(zé)傳統(tǒng)網(wǎng)頁、微博及SNS等各種網(wǎng)站信息高效采集與正確解析2、對用戶數(shù)據(jù)進(jìn)行整理分析，參與模型的構(gòu)建；3、總結(jié)分析不同網(wǎng)站，網(wǎng)頁的結(jié)構(gòu)特點(diǎn)及規(guī)律，負(fù)責(zé)爬蟲架構(gòu)設(shè)計(jì)和研發(fā)，參與爬蟲核心算法和策略優(yōu)化研究；4、設(shè)計(jì)策略和算法，提升網(wǎng)頁抓取的效率和質(zhì)量，進(jìn)一步解決系統(tǒng)的網(wǎng)頁排重、垃圾控制、資源劃分等問題；5、分析爬蟲系統(tǒng)的技術(shù)缺陷，對策略架構(gòu)做出合理地調(diào)整和改進(jìn)