負(fù)責(zé)網(wǎng)絡(luò)爬蟲的崗位。Python爬蟲是由Python程序開發(fā)的網(wǎng)絡(luò)爬蟲，是按照一定規(guī)則自動抓取萬網(wǎng)網(wǎng)信息的程序或腳本。Python爬蟲工程師崗位職責(zé)是數(shù)據(jù)采集清洗等研發(fā)工作;負(fù)責(zé)對爬蟲平臺架構(gòu)進(jìn)行改造和優(yōu)化;定期抓取指定數(shù)據(jù)，為業(yè)務(wù)部門提供數(shù)據(jù)支持。負(fù)責(zé)爬蟲各個系統(tǒng)核心代碼搭建，性能方面的優(yōu)化，解決相關(guān)難題;負(fù)責(zé)研究各種網(wǎng)站、網(wǎng)頁、鏈接的形態(tài)，發(fā)現(xiàn)它們的特點(diǎn)和規(guī)律；設(shè)計各種策略和算法，提高數(shù)據(jù)抓取的效率和質(zhì)量，解決數(shù)據(jù)的重復(fù)，垃圾數(shù)據(jù)識別。