這是 Java 爬蟲系列博文的第四篇,在上一篇 Java 爬蟲遇上數據異步加載,試試這兩種辦法!中,我們從內置瀏覽器內核和反向解析法兩個角度簡單的聊了聊關於處理數據異步加載問題。在這篇文章中,我們簡單的來聊一聊爬蟲時,資源網站根據用戶訪問行為屏蔽掉爬蟲程序及其對應的解決辦法。
屏蔽爬蟲程序是資源網站的一種保護措施,最常用的反爬蟲策略應該是基於用戶的訪問行為。比如限制每臺服務器在一定的時間內只能訪問 X 次,超過該次數就認為這是爬蟲程序進行的訪問,基於用戶訪問行為判斷是否是爬蟲程序也不止是根據訪問次數,還會根據每次請求的User Agent 請求頭、每次訪問的間隔時間等。總的來說是由多個因數決定的,其中以訪問次數為主。
反爬蟲是每個資源網站自保的措施,旨在保護資源不被爬蟲程序佔用。例如我們前面使用到的豆瓣網,它會根據用戶訪問行為來屏蔽掉爬蟲程序,每個 IP 在每分鐘訪問次數達到一定次數後,後面一段時間內的請求返回直接返回 403 錯誤,以為著你沒有權限訪問該頁面。所以我們今天再次拿豆瓣網為例,我們用程序模擬出這個現象,下面是我編寫的一個採集豆瓣電影的程序
這段程序的邏輯比較簡單,先採集到豆瓣熱門電影,這裡使用直接訪問 Ajax 獲取豆瓣熱門電影的鏈接,然後解析出電影的詳情頁鏈接,多線程訪問詳情頁鏈接,因為只有在多線程的情況下才能達到豆瓣的訪問要求。豆瓣熱門電影頁面如下:
多次運行上面的程序,你最後會得到下圖的結果
從上圖中我們可以看出,httpclient 訪問返回的狀態碼為 403 ,說明我們已經沒有權限訪問該頁面了,也就是說豆瓣網已經認為我們是爬蟲程序啦,拒接掉了我們的訪問請求。我們來分析一下我們現在的訪問架構,因為我們是直接訪問豆瓣網的,所以此時的訪問架構如下圖所示:
我們想要突破這層限制的話,我們就不能直接訪問豆瓣網的服務器,我們需要拉入第三方,讓別人代替我們去訪問,我們每次訪問都找不同的人,這樣就不會被限制了,這個也就是所謂的 IP代理。 此時的訪問架構就變成了下面這張圖:
我們使用的 IP代理,我們就需要有 IP代理池,接下來我們就來聊一聊 IP 代理池
IP 代理池
代理服務器有很多廠商在做這一塊,具體的我就不說了,自己百度 IP 代理可以搜出一大堆,這些 IP代理商都有提供收費和免費的代理 IP,收費的代理 IP可用性高,速度快,在線上環境如果需要使用代理的話,建議使用收費的代理 IP。如果只是自己研究的話,我們就可以去採集這些廠商的免費公開代理 IP,這些 IP 的性能和可用性都比較差,但是不影響我們使用。
因為我們是 Demo 項目,所以我們就自己搭建 IP代理池。我們該怎麼設計一個 IP代理池呢?下圖是我畫的簡單 IP代理池架構圖
從上面的架構圖中,可以看出一個 IP 代理系統會涉及到 4 個模塊,分別為 IP 採集模塊、 IP 存儲模塊、IP 檢測模塊和 API 接口模塊。
- IP 採集模塊
負責從各大 IP代理廠商採集代理 IP,採集的網站越多,代理 IP 的可用性就越高
- IP 存儲模塊
存儲採集回來的代理 IP,比較常用的是 Redis 這樣的高性能的數據庫,在存儲方面我們需要存儲兩種數據,一種是檢測可用的代理 IP,另一種是採集回來還未檢測的代理 IP。
- IP 檢測模塊
檢測採集回來的 IP 是否可用,這樣能夠讓我們提供的 IP 可用性變高,我們先過濾掉不可用的 IP。
- API 接口模塊
以接口的形式對外提供可用代理 IP
上面就是關於 IP代理池的相關設計,對於這些我們只需要簡單瞭解一下就行了,因為現在基本上不需要我們去編寫 IP代理池服務啦,在 GitHub 上已經有大量優秀的開源項目,沒必要重複造輪子啦。我為大家選取了在 GitHub 上有 8K star 的開源 IP代理池項目 proxy_pool ,我們將使用它作為我們 IP 代理池。關於 proxy_pool 請訪問:https://github.com/jhao104/proxy_pool
部署 proxy_pool
proxy_pool 是用 python 語言寫的,不過這也沒什麼關係,因為現在都可以容器化部署,使用容器化部署可以屏蔽掉一些環境的安裝,只需要運行鏡像就可以運行服務了,並不需要知道它裡面的具體實現,所以這個項目不懂 Python 的 Java 程序員也是可以使用的。proxy_pool 使用的是 Redis 來存儲採集的 IP,所以在啟動 proxy_pool 前,你需要先啟動 Redis 服務。下面是 proxy_pool docker啟動步驟。
- 拉取鏡像
docker pull jhao104/proxy_pool
- 運行鏡像
docker run --env db_type=REDIS --env db_host=127.0.0.1 --env db_port=6379 --env db_password=pwd_str -p 5010:5010 jhao104/proxy_pool
運行鏡像後,我們等待一段時間,因為第一次啟動採集數據和處理數據需要一段時間。等待之後訪問 http://{your_host}:5010/get_all/,如果你得到下圖所示的結果,說明 proxy_pool 項目你已經部署成功。
使用 IP 代理
搭建好 IP代理池之後,我們就可以使用代理 IP 來採集豆瓣電影啦,我們已經知道了除了 IP 之外,User Agent 請求頭也會是豆瓣網判斷訪問是否是爬蟲程序的一個因素,所以我們也對 User Agent 請求頭進行偽造,我們每次訪問使用不同的 User Agent 請求頭。
我們為豆瓣電影採集程序引入 IP代理和 隨機 User Agent 請求頭,具體代碼如下:
運行修改後的採集程序,可能需要多次運行,因為你的代理 IP 不一定每次都有效。代理 IP 有效的話,你將得到如下結果
結果中我們可以看出,40 次的電影詳情頁訪問,有大量的代理 IP 是無效的,只有一小部分的代理 IP 有效。結果直接證明了免費的代理 IP 可用性不高,所以如果線上需要使用代理 IP 的話,最好使用收費的代理 IP。儘管我們自己搭建的 IP代理池可用性不是太高,但是我們設置的 IP 代理訪問豆瓣電影已經成功了,使用 IP 代理成功繞過了豆瓣網的限制。
關於爬蟲服務器被屏蔽,原因有很多,我們這篇文章主要介紹的是通過 設置 IP 代理和偽造 User Agent 請求頭來繞過豆瓣網的訪問限制。如何讓我們的程序不被資源網站視為爬蟲程序呢?需要做好以下三點:
- 偽造 User Agent 請求頭
- 使用 IP 代理
- 不固定的採集間隔時間
希望這篇文章對你有所幫助,下一篇是關於多線程爬蟲的探索。如果你對爬蟲感興趣,不妨關注一波,相互學習,相互進步
作者:平頭哥的技術博文
來源:掘金
商業用途請與原作者聯繫,本文只做展示分享,不妥侵刪!
閱讀更多 程序猿猩球 的文章