1 為什么選擇爬蟲(chóng)？要想論述這個(gè)問(wèn)題，需要從網(wǎng)絡(luò)爬蟲(chóng)是什么？學(xué)習(xí)爬蟲(chóng)的原因是什么？怎樣學(xué)習(xí)爬蟲(chóng)來(lái)理清自己學(xué)習(xí)的目的，這樣才能更好地去研究爬蟲(chóng)技術(shù)并堅(jiān)持下來(lái)。 什么是爬蟲(chóng)：爬蟲(chóng)通常指的是網(wǎng)絡(luò)爬蟲(chóng)，就是一種按照一定的規(guī)則，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本。一般是根據(jù)定義的行為自動(dòng)進(jìn)行抓取，更智能的爬蟲(chóng)會(huì)自動(dòng)分析目標(biāo)網(wǎng)站結(jié)構(gòu)。它還有一些不常使用的名字。如：網(wǎng)絡(luò)蜘蛛（Web spider）、螞蟻（ant）、自動(dòng)檢索工具（automatic indexer）、網(wǎng)絡(luò)疾走（WEB scutter）、網(wǎng)絡(luò)機(jī)器人等。 學(xué)習(xí)爬蟲(chóng)的原因：學(xué)習(xí)爬蟲(chóng)是一件很有趣的事。我曾利用爬蟲(chóng)抓過(guò)許多感興趣東西，興趣是最好的老師，感興趣的東西學(xué)的快、記的牢，學(xué)后有成就感。@學(xué)習(xí)爬蟲(chóng)，可以私人訂制一個(gè)搜索引擎，并且可以對(duì)搜索引擎的數(shù)據(jù)采集工作原理進(jìn)行更深層次地理解。有的朋友希望能夠深層次地了解搜索引擎的爬蟲(chóng)工作原理，或者希望自己能夠開(kāi)發(fā)出一款私人搜索引擎，那么此時(shí)，學(xué)習(xí)爬蟲(chóng)是非常有必要的。簡(jiǎn)單來(lái)說(shuō)，我們學(xué)會(huì)了爬蟲(chóng)編寫(xiě)之后，就可以利用爬蟲(chóng)自動(dòng)地采集互聯(lián)網(wǎng)中的信息，采集回來(lái)后進(jìn)行相應(yīng)的存儲(chǔ)或處理，在需要檢索某些信息的時(shí)候，只需在采集回來(lái)的信息中進(jìn)行檢索，即實(shí)現(xiàn)了私人的搜索引擎。當(dāng)然，信息怎么爬取、怎么存儲(chǔ)、怎么進(jìn)行分詞、怎么進(jìn)行相關(guān)性計(jì)算等，都是需要我們進(jìn)行設(shè)計(jì)的，爬蟲(chóng)技術(shù)主要解決信息爬取的問(wèn)題。@學(xué)習(xí)爬蟲(chóng)可以獲取更多的數(shù)據(jù)源。這些數(shù)據(jù)源可以按我們的目的進(jìn)行采集，去掉很多無(wú)關(guān)數(shù)據(jù)。在進(jìn)行大數(shù)據(jù)分析或者進(jìn)行數(shù)據(jù)挖掘的時(shí)候，數(shù)據(jù)源可以從某些提供數(shù)據(jù)統(tǒng)計(jì)的網(wǎng)站獲得，也可以從某些文獻(xiàn)或內(nèi)部資料中獲得，但是這些獲得數(shù)據(jù)的方式，有時(shí)很難滿足我們對(duì)數(shù)據(jù)的需求，而手動(dòng)從互聯(lián)網(wǎng)中去尋找這些數(shù)據(jù)，則耗費(fèi)的精力過(guò)大。此時(shí)就可以利用爬蟲(chóng)技術(shù)，自動(dòng)地從互聯(lián)網(wǎng)中獲取我們感興趣的數(shù)據(jù)內(nèi)容，并將這些數(shù)據(jù)內(nèi)容爬取回來(lái)，作為我們的數(shù)據(jù)源，從而進(jìn)行更深層次的數(shù)據(jù)分析，并獲得更多有價(jià)值的信息。@對(duì)于很多SEO從業(yè)者來(lái)說(shuō)，學(xué)習(xí)爬蟲(chóng)，可以更深層次地理解搜索引擎爬蟲(chóng)的工作原理，從而可以更好地進(jìn)行搜索引擎優(yōu)化。既然是搜索引擎優(yōu)化，那么就必須要對(duì)搜索引擎的工作原理非常清楚，同時(shí)也需要掌握搜索引擎爬蟲(chóng)的工作原理，這樣在進(jìn)行搜索引擎優(yōu)化時(shí)，才能知己知彼，百戰(zhàn)不殆。@學(xué)習(xí)爬蟲(chóng)更有錢景。爬蟲(chóng)工程師是當(dāng)前緊缺人才，并且薪資待遇普遍較高，所以，深層次地掌握這門技術(shù)，對(duì)于就業(yè)來(lái)說(shuō)，是非常有利的。有些朋友學(xué)習(xí)爬蟲(chóng)可能為了就業(yè)或者跳槽。從這個(gè)角度來(lái)說(shuō)，爬蟲(chóng)工程師方向也是不錯(cuò)的選擇之一，因?yàn)槟壳芭老x(chóng)工程師的需求越來(lái)越大，而能夠勝任這方面崗位的人員較少，所以屬于一個(gè)比較緊缺的職業(yè)方向，并且隨著大數(shù)據(jù)時(shí)代的來(lái)臨，爬蟲(chóng)技術(shù)的應(yīng)用將越來(lái)越廣泛，在未來(lái)會(huì)擁有很好的發(fā)展空間。除了以上為大家總結(jié)的4種常見(jiàn)的學(xué)習(xí)爬蟲(chóng)的原因外，可能你還有一些其他學(xué)習(xí)爬蟲(chóng)的原因，總之，不管是什么原因，理清自己學(xué)習(xí)的目的，就可以更好地去研究一門知識(shí)技術(shù)，并堅(jiān)持下來(lái)。 怎樣學(xué)習(xí)爬蟲(chóng)： 選擇一門編程語(yǔ)言。入門爬蟲(chóng)的前提肯定是需要學(xué)習(xí)一門編程語(yǔ)言，推薦使用Python 。2018年5月Python已排名第一，列為最受歡迎的語(yǔ)言。很多人將 Python 和爬蟲(chóng)綁在一起，相比 Java , Php , Node 等靜態(tài)編程語(yǔ)言來(lái)說(shuō)，Python 內(nèi)部的爬蟲(chóng)庫(kù)更加豐富，提供了更多訪問(wèn)網(wǎng)頁(yè)的 API。寫(xiě)一個(gè)爬蟲(chóng)不需要幾十行，只需要 十幾行就能搞定。尤其是現(xiàn)在反爬蟲(chóng)日漸嚴(yán)峻的情況下，如何偽裝自己的爬蟲(chóng)尤為重要，例如 UA , Cookie , Ip 等等，Python 庫(kù)對(duì)其的封裝非常和諧，為此可以減少大部分代碼量。 學(xué)習(xí)爬蟲(chóng)需要掌握的知識(shí)點(diǎn)。http相關(guān)知識(shí),瀏覽器攔截、抓包；python的scrapy 、requests、BeautifulSoap等第三方庫(kù)的安裝、使用，編碼知識(shí)、bytes 和str類型轉(zhuǎn)換，抓取javascript 動(dòng)態(tài)生成的內(nèi)容，模擬post、get，header等，cookie處理、登錄，代理訪問(wèn)，多線程訪問(wèn)、asyncio 異步，正則表達(dá)式、xpath,分布式爬蟲(chóng)開(kāi)發(fā)等。 學(xué)習(xí)爬蟲(chóng)的基本方法。 理清楚爬蟲(chóng)所需的知識(shí)體系，然后各個(gè)擊破；推薦先買一本有一定知名度的書(shū)便于系統(tǒng)的學(xué)習(xí)爬蟲(chóng)的知識(shí)體系。剛開(kāi)始學(xué)的時(shí)候，建議從基礎(chǔ)庫(kù)開(kāi)始，有一定理解之后，才用框架爬取，因?yàn)榭蚣芤彩怯没A(chǔ)搭建的，只不過(guò)集成了很多成熟的模塊，提高了抓取的效率，完善了功能。多實(shí)戰(zhàn)練習(xí)和總結(jié)實(shí)戰(zhàn)練習(xí)，多總結(jié)對(duì)方網(wǎng)站的搭建技術(shù)、網(wǎng)站的反爬機(jī)制，該類型網(wǎng)站的解析方法，破解對(duì)方網(wǎng)站的反爬技巧等。2 為什么選擇Python?百度知道在這方面介紹的很多了，相比其它編程語(yǔ)言，我就簡(jiǎn)答一下理由： python是腳本語(yǔ)言。因?yàn)槟_本語(yǔ)言與編譯語(yǔ)言的開(kāi)發(fā)測(cè)試過(guò)程不同，可以極大的提高編程效率。作為程序員至少應(yīng)該掌握一本通用腳本語(yǔ)言，而python是當(dāng)前最流行的通用腳本語(yǔ)言。與python相似的有ruby、tcl、perl等少數(shù)幾種，而python被稱為腳本語(yǔ)言之王。 python擁有廣泛的社區(qū)?？梢哉f(shuō)，只要你想到的問(wèn)題，只要你需要使用的第三方庫(kù)，基本上都是python的接口。 python開(kāi)發(fā)效率高。同樣的任務(wù)，大約是java的10倍，c++的10-20倍。 python在科研上有大量的應(yīng)用。大數(shù)據(jù)計(jì)算、模擬計(jì)算、科學(xué)計(jì)算都有很多的包。python幾乎在每個(gè)linux操作系統(tǒng)上都安裝有，大部分unix系統(tǒng)也都缺省安裝，使用方便。 python有豐富和強(qiáng)大的獨(dú)立庫(kù)。它幾乎不依賴第三方軟件就可以完成大部分的系統(tǒng)運(yùn)維和常見(jiàn)的任務(wù)開(kāi)發(fā)；python幫助里還有許多例子代碼，幾乎拿過(guò)來(lái)略改一下就可以正式使用。