說到理想型，相信很多人會情不自禁的點進來看看，畢竟終於有機會來談談理想了。當然肯定也會有一部分人認為，任何軟件都是根據需求去設計實現的，不存在“理想型”的這種說法。但是我認為好的分佈式爬蟲架構一定要具備如下特性：

• 1、有足夠強壯的爬蟲調度，快速的橫向部署擴展加入節點，任務到達保障，容錯等等基本要穩定好。
• 2、抓回來的數據，如果有需求的情況下，應該離線下來，包括http header、http body，方便離線分析，而不是抓完就扔，要用再抓，節省下網絡資源
• 3、有個很成熟的解析器
• 4、有很好的插件機制，隨時可以發佈更新，把核心和插件應用分離，方便業務和基礎服務層的分離
• 5、維護網絡資源知識庫

在這裡，我大致把開發網絡爬蟲分為3類，即分佈式爬蟲、Java單機爬蟲和非Java單機爬蟲。下面詳細說一下：

第一類：分佈式爬蟲

爬蟲使用分佈式，主要是解決兩個問題：1）海量URL管理 2）網速

現在比較流行的分佈式爬蟲，是Apache的Nutch。但是對於大多數用戶來說，Nutch是這幾類爬蟲裡，最不好的選擇，理由如下：

1）Nutch是為搜索引擎設計的爬蟲，大多數用戶是需要一個做精準數據爬取（精抽取）的爬蟲。Nutch運行的一套流程裡，有三分之二是為了搜索引擎而設計的。對精抽取沒有太大的意義。也就是說，用Nutch做數據抽取，會浪費很多的時間在不必要的計算上。而且如果你試圖通過對Nutch進行二次開發，來使得它適用於精抽取的業務，基本上就要破壞Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新寫一個分佈式爬蟲框架了。

2）Nutch依賴hadoop運行，hadoop本身會消耗很多的時間。如果集群機器數量較少，爬取速度反而不如單機爬蟲快。

3）Nutch雖然有一套插件機制，而且作為亮點宣傳。可以看到一些開源的Nutch插件，提供精抽取的功能。但是開發過Nutch插件的人都知道，Nutch的插件系統有多蹩腳。利用反射的機制來加載和調用插件，使得程序的編寫和調試都變得異常困難，更別說在上面開發一套複雜的精抽取系統了。而且Nutch並沒有為精抽取提供相應的插件掛載點。Nutch的插件有隻有五六個掛載點，而這五六個掛載點都是為了搜索引擎服務的，並沒有為精抽取提供掛載點。大多數Nutch的精抽取插件，都是掛載在“頁面解析”(parser)這個掛載點的，這個掛載點其實是為了解析鏈接（為後續爬取提供URL），以及為搜索引擎提供一些易抽取的網頁信息(網頁的meta信息、text文本)。

4）用Nutch進行爬蟲的二次開發，爬蟲的編寫和調試所需的時間，往往是單機爬蟲所需的十倍時間不止。瞭解Nutch源碼的學習成本很高，何況是要讓一個團隊的人都讀懂Nutch源碼。調試過程中會出現除程序本身之外的各種問題(hadoop的問題、hbase的問題)。

5）很多人說Nutch2有gora，可以持久化數據到avro文件、hbase、mysql等。很多人其實理解錯了，這裡說的持久化數據，是指將URL信息（URL管理所需要的數據）存放到avro、hbase、mysql。並不是你要抽取的結構化數據。其實對大多數人來說，URL信息存在哪裡無所謂。

第二類：Java單機爬蟲

這裡把Java爬蟲單獨分為一類，是因為Java在網絡爬蟲這塊的生態圈是非常完善的。相關的資料也是最全的。這裡可能有爭議，我只是隨便扯淡。

其實開源網絡爬蟲（框架）的開發非常簡單，難問題和複雜的問題都被以前的人解決了（比如DOM樹解析和定位、字符集檢測、海量URL去重），可以說是毫無技術含量。包括Nutch，其實Nutch的技術難點是開發hadoop，本身代碼非常簡單。網絡爬蟲從某種意義來說，類似遍歷本機的文件，查找文件中的信息。沒有任何難度可言。之所以選擇開源爬蟲框架，就是為了省事。比如爬蟲的URL管理、線程池之類的模塊，誰都能做，但是要做穩定也是需要一段時間的調試和修改的。

對於爬蟲的功能來說。用戶比較關心的問題往往是：

1）爬蟲支持多線程麼、爬蟲能用代理麼、爬蟲會爬取重複數據麼、爬蟲能爬取JS生成的信息麼？

不支持多線程、不支持代理、不能過濾重複URL的，那都不叫開源爬蟲，那叫循環執行http請求。能不能爬js生成的信息和爬蟲本身沒有太大關係。爬蟲主要是負責遍歷網站和下載頁面。爬js生成的信息和網頁信息抽取模塊有關，往往需要通過模擬瀏覽器(htmlunit,selenium)來完成。這些模擬瀏覽器，往往需要耗費很多的時間來處理一個頁面。所以一種策略就是，使用這些爬蟲來遍歷網站，遇到需要解析的頁面，就將網頁的相關信息提交給模擬瀏覽器，來完成JS生成信息的抽取。

2）爬蟲可以爬取ajax信息麼？

網頁上有一些異步加載的數據，爬取這些數據有兩種方法：使用模擬瀏覽器（問題1中描述過了），或者分析ajax的http請求，自己生成ajax請求的url，獲取返回的數據。如果是自己生成ajax請求，使用開源爬蟲的意義在哪裡？其實是要用開源爬蟲的線程池和URL管理功能（比如斷點爬取）。

如果我已經可以生成我所需要的ajax請求（列表），如何用這些爬蟲來對這些請求進行爬取？ 爬蟲往往都是設計成廣度遍歷或者深度遍歷的模式，去遍歷靜態或者動態頁面。爬取ajax信息屬於deep web（深網）的範疇，雖然大多數爬蟲都不直接支持。但是也可以通過一些方法來完成。比如WebCollector使用廣度遍歷來遍歷網站。爬蟲的第一輪爬取就是爬取種子集合(seeds)中的所有url。簡單來說，就是將生成的ajax請求作為種子，放入爬蟲。用爬蟲對這些種子，進行深度為1的廣度遍歷（默認就是廣度遍歷）。

3）爬蟲怎麼爬取要登陸的網站？

這些開源爬蟲都支持在爬取時指定cookies，模擬登陸主要是靠cookies。至於cookies怎麼獲取，不是爬蟲管的事情。你可以手動獲取、用http請求模擬登陸或者用模擬瀏覽器自動登陸獲取cookie。

4）網頁可以調用爬蟲麼？

爬蟲的調用是在Web的服務端調用的，平時怎麼用就怎麼用，這些爬蟲都可以使用。

5）爬蟲速度怎麼樣？

單機開源爬蟲的速度，基本都可以講本機的網速用到極限。爬蟲的速度慢，往往是因為用戶把線程數開少了、網速慢，或者在數據持久化時，和數據庫的交互速度慢。而這些東西，往往都是用戶的機器和二次開發的代碼決定的。這些開源爬蟲的速度，都很可以。

6）明明代碼寫對了，爬不到數據，是不是爬蟲有問題，換個爬蟲能解決麼？

如果代碼寫對了，又爬不到數據，換其他爬蟲也是一樣爬不到。遇到這種情況，要麼是網站把你封了，要麼是你爬的數據是Javascript生成的。爬不到數據通過換爬蟲是不能解決的。

7）哪個爬蟲可以判斷網站是否爬完、那個爬蟲可以根據主題進行爬取？

爬蟲無法判斷網站是否爬完，只能儘可能覆蓋。至於根據主題爬取，爬蟲之後把內容爬下來才知道是什麼主題。所以一般都是整個爬下來，然後再去篩選內容。如果嫌爬的太泛，可以通過限制URL正則等方式，來縮小一下範圍。

所以對於Java開源爬蟲，我覺得，隨便找一個用的順手的就可以。如果業務複雜，拿哪個爬蟲來，都是要經過複雜的二次開發，才可以滿足需求。

第三類：非Java單機爬蟲

在非Java語言編寫的爬蟲中，有很多優秀的爬蟲。這裡單獨提取出來作為一類，並不是針對爬蟲本身的質量進行討論，而是針對larbin、scrapy這類爬蟲，對開發成本的影響。

先說python爬蟲，python可以用30行代碼，完成Java 50行代碼乾的任務。python寫代碼的確快，但是在調試代碼的階段，python代碼的調試往往會耗費遠遠多於編碼階段省下的時間。使用python開發，要保證程序的正確性和穩定性，就需要寫更多的測試模塊。當然如果爬取規模不大、爬取業務不復雜，使用scrapy這種爬蟲也是蠻不錯的，可以輕鬆完成爬取任務。

對於C++爬蟲來說，學習成本會比較大。而且不能只計算一個人的學習成本，如果軟件需要團隊開發或者交接，那就是很多人的學習成本了。軟件的調試也不是那麼容易。還有一些ruby、php的爬蟲，這裡不多評價。的確有一些非常小型的數據採集任務，用ruby或者php很方便。但是選擇這些語言的開源爬蟲，一方面要調研一下相關的生態圈，還有就是，這些開源爬蟲可能會出一些你搜不到的BUG。

以上就是我的分享，零基礎入門Python爬蟲，需要視頻教程的小夥伴可以私信給我留言。