很多用戶之所以會使用代理ip都是為了爬蟲採集，儘管爬蟲採集能夠爬取頁面信息，但要實現這個效果卻不是所有爬蟲都可以做到。爬蟲也有分類，不同的爬蟲能夠做到的效果也不一樣，那麼爬蟲都有哪些類型呢?
1.增量式網絡爬蟲
增量式更新指的是在更新的時候只更新改變的地方，而未改變的地方則不更新，只爬取內容發生變化的網頁或者新產生的網頁，一定程度上能保證所爬取的網頁，儘可能是新網頁。
2.通用爬蟲
爬取目標資源在全互聯網中，爬取目標數據巨大。對爬取性能要求非常高。應用於大型搜索引擎中，有非常高的應用價值。
爬行策略：主要有深度優先爬行策略和廣度優先爬行策略。
基本構成：初始URL集合，URL隊列，頁面爬行模塊，頁面分析模塊，頁面數據庫，鏈接過濾模塊等構成。
3.深層網絡爬蟲
表層網頁：不需要提交表單，使用靜態的鏈接就能夠到達的靜態網頁。
深層網頁：隱藏在表單後面，不能通過靜態鏈接直接獲得，是需要提交一定的關鍵詞之後才能夠獲取得到的網頁。
深層網絡爬蟲最重要的部分即為表單填寫部分。
基本構成：URL列表，LVS列表(LVS指的是標籤/數值集合，即填充表單的數據源)爬行控制器，解析器，LVS控制器，表單分析器，表單處理器，響應分析器等。
深層網絡爬蟲表單填寫有兩種類型：
基於領域知識的表單填寫(建立一個填寫表單的關鍵詞庫，在需要的時候，根據語義分析選擇對應的關鍵詞進行填寫)。
基於網頁結構分析的表單填寫(一般是領域只是有限的情況下使用，這種方式會根據網頁結構進行分析，並自動的進行表單填寫)。
4.聚焦網絡爬蟲
將爬取目標定位在與主題相關的頁面中，主要應用在對特定信息的爬取中，主要為某一類特定的人群提供服務。
爬行策略：基於內容評價的爬行策略、基於鏈接評價的爬行策略、基於增強學習的爬行策略、基於語境圖的爬行策略，關於聚焦網絡爬蟲具體的爬行策略。
基本構成：初始URL,URL隊列，頁面爬行模塊，頁面分析模塊，頁面數據庫，連接過濾模塊，內容評價模塊，鏈接評價模塊等構成。
不同類型的爬蟲有著不一樣的爬行策略和基本構成，因而也用於不同的場景當中，不同的爬蟲爬取的內容不一樣，可以根據實際爬取需求來選擇爬蟲類型。
