一、基礎入門
1.1什麼是爬蟲
爬蟲(spider,又網絡爬蟲),是指向網站/網絡發起請求,獲取資源後分析並提取有用數據的程序。
從技術層面來說就是 通過程序模擬瀏覽器請求站點的行為,把站點返回的HTML代碼/JSON數據/二進制數據(圖片、視頻) 爬到本地,進而提取自己需要的數據,存放起來使用。
想要學習Python又缺少系統化學習方案的朋友可以關注並私信“01”免費領取系統化的Python學習資料...願大家都能在編程這條路,越走越遠。
1.2爬蟲基本流程
用戶獲取網絡數據的方式:
方式1:瀏覽器提交請求--->下載網頁代碼--->解析成頁面
方式2:模擬瀏覽器發送請求(獲取網頁代碼)->提取有用的數據->存放於數據庫或文件中
爬蟲要做的就是方式2。
1
發起請求
使用http庫向目標站點發起請求,即發送一個Request
Request包含:請求頭、請求體等
Request模塊缺陷:不能執行JS 和CSS 代碼
2
獲取響應內容
如果服務器能正常響應,則會得到一個Response
Response包含:html,json,圖片,視頻等
3
解析內容
解析html數據:正則表達式(RE模塊)、xpath(主要使用)、beautiful soup、css
解析json數據:json模塊
解析二進制數據:以wb的方式寫入文件
4
保存數據
數據庫(MySQL,Mongdb、Redis)或 文件的形式。
1.3http協議 請求與響應
http協議
Request:用戶將自己的信息通過瀏覽器(socket client)發送給服務器(socket server)
Response:服務器接收請求,分析用戶發來的請求信息,然後返回數據(返回的數據中可能包含其他鏈接,如:圖片,js,css等)
ps:瀏覽器在接收Response後,會解析其內容來顯示給用戶,而爬蟲程序在模擬瀏覽器發送請求然後接收Response後,是要提取其中的有用數據。
1.3.1
request
(1) 請求方式
常見的請求方式:GET / POST
(2)請求的URL
url全球統一資源定位符,用來定義互聯網上一個唯一的資源 例如:一張圖片、一個文件、一段視頻都可以用url唯一確定
(3)請求頭
User-agent:請求頭中如果沒有user-agent客戶端配置,服務端可能將你當做一個非法用戶host;
cookies:cookie用來保存登錄信息
注意:一般做爬蟲都會加上請求頭。
請求頭需要注意的參數:
- Referrer:訪問源至哪裡來(一些大型網站,會通過Referrer 做防盜鏈策略;所有爬蟲也要注意模擬)
- User-Agent:訪問的瀏覽器(要加上否則會被當成爬蟲程序)
- cookie:請求頭注意攜帶
(4)請求體
請求體 如果是get方式,請求體沒有內容 (get請求的請求體放在 url後面參數中,直接能看到) 如果是post方式,請求體是format data
ps:1、登錄窗口,文件上傳等,信息都會被附加到請求體內 2、登錄,輸入錯誤的用戶名密碼,然後提交,就可以看到post,正確登錄後頁面通常會跳轉,無法捕捉到post
1.3.2
response
(1)響應狀態碼
- 200:代表成功
- 301:代表跳轉
- 404:文件不存在
- 403:無權限訪問
- 502:服務器錯誤
(2)response header
響應頭需要注意的參數:Set-Cookie:BDSVRTM=0; path=/:可能有多個,是來告訴瀏覽器,把cookie保存下來
(3)preview就是網頁源代碼
json數據
如網頁html,圖片
二進制數據等
02
二、基礎模塊
2.1requests
requests是python實現的簡單易用的HTTP庫,是由urllib的升級而來。
開源地址:
https://github.com/kennethreitz/requests
中文API:
http://docs.python-requests.org/zh_CN/latest/index.html
2.2re 正則表達式
在 Python 中使用內置的 re 模塊來使用正則表達式。
缺點:處理數據不穩定、工作量大
2.3XPath
Xpath(XML Path Language) 是一門在 XML 文檔中查找信息的語言,可用來在 XML 文檔中對元素和屬性進行遍歷。
在python中主要使用 lxml 庫來進行xpath獲取(在框架中不使用lxml,框架內直接使用xpath即可)
lxml 是 一個HTML/XML的解析器,主要的功能是如何解析和提取 HTML/XML 數據。
lxml和正則一樣,也是用 C 實現的,是一款高性能的 Python HTML/XML 解析器,我們可以利用之前學習的XPath語法,來快速的定位特定元素以及節點信息。
2.4BeautifulSoup
和 lxml 一樣,Beautiful Soup 也是一個HTML/XML的解析器,主要的功能也是如何解析和提取 HTML/XML 數據。
使用BeautifulSoup需要導入bs4庫
缺點:相對正則和xpath處理速度慢
優點:使用簡單
2.5Json
JSON(JavaScript Object Notation) 是一種輕量級的數據交換格式,它使得人們很容易的進行閱讀和編寫。同時也方便了機器進行解析和生成。適用於進行數據交互的場景,比如網站前臺與後臺之間的數據交互。
在python中主要使用 json 模塊來處理 json數據。Json解析網站:
https://www.sojson.com/simple_json.html
2.6threading
使用threading模塊創建線程,直接從threading.Thread繼承,然後重寫__init__方法和run方法
03
三、方法實例
3.1get方法實例
demo_get.py
3.2post方法實例
demo_post.py
3.3添加代理
demo_proxies.py
3.4獲取ajax類數據實例
demo_ajax.py
3.5使用多線程實例
demo_thread.py
04
四、爬蟲框架
4.1Srcapy框架
- Scrapy是用純Python實現一個為了爬取網站數據、提取結構性數據而編寫的應用框架,用途非常廣泛。
- Scrapy 使用了 Twisted['twɪstɪd](其主要對手是Tornado)異步網絡框架來處理網絡通訊,可以加快我們的下載速度,不用自己去實現異步框架,並且包含了各種中間件接口,可以靈活的完成各種需求。
4.2Scrapy架構圖
4.3Scrapy主要組件
- Scrapy Engine(引擎): 負責Spider、ItemPipeline、Downloader、Scheduler中間的通訊,信號、數據傳遞等。
- Scheduler(調度器): 它負責接受引擎發送過來的Request請求,並按照一定的方式進行整理排列,入隊,當引擎需要時,交還給引擎。
- Downloader(下載器):負責下載Scrapy Engine(引擎)發送的所有Requests請求,並將其獲取到的Responses交還給Scrapy Engine(引擎),由引擎交給Spider來處理,
- Spider(爬蟲):它負責處理所有Responses,從中分析提取數據,獲取Item字段需要的數據,並將需要跟進的URL提交給引擎,再次進入Scheduler(調度器),
- Item Pipeline(管道):它負責處理Spider中獲取到的Item,並進行進行後期處理(詳細分析、過濾、存儲等)的地方.
- Downloader Middlewares(下載中間件):你可以當作是一個可以自定義擴展下載功能的組件。
- Spider Middlewares(Spider中間件):你可以理解為是一個可以自定擴展和操作引擎和Spider中間通信的功能組件(比如進入Spider的Responses;和從Spider出去的Requests)
4.4Scrapy的運作流程
- 引擎:Hi!Spider, 你要處理哪一個網站?
- Spider:老大要我處理xxxx.com。
- 引擎:你把第一個需要處理的URL給我吧。
- Spider:給你,第一個URL是xxxxxxx.com。
- 引擎:Hi!調度器,我這有request請求你幫我排序入隊一下。
- 調度器:好的,正在處理你等一下。
- 引擎:Hi!調度器,把你處理好的request請求給我。
- 調度器:給你,這是我處理好的request
- 引擎:Hi!下載器,你按照老大的下載中間件的設置幫我下載一下這個request請求
- 下載器:好的!給你,這是下載好的東西。(如果失敗:sorry,這個request下載失敗了。然後引擎告訴調度器,這個request下載失敗了,你記錄一下,我們待會兒再下載)
- 引擎:Hi!Spider,這是下載好的東西,並且已經按照老大的下載中間件處理過了,你自己處理一下(注意!這兒responses默認是交給def parse()這個函數處理的)
- Spider:(處理完畢數據之後對於需要跟進的URL),Hi!引擎,我這裡有兩個結果,這個是我需要跟進的URL,還有這個是我獲取到的Item數據。
- 引擎:Hi !管道 我這兒有個item你幫我處理一下!調度器!這是需要跟進URL你幫我處理下。然後從第四步開始循環,直到獲取完老大需要全部信息。
- 管道``調度器:好的,現在就做!
4.5製作Scrapy爬蟲4步曲
1新建爬蟲項目scrapy startproject mySpider2明確目標 (編寫items.py)打開mySpider目錄下的items.py3製作爬蟲 (spiders/xxspider.py)scrapy genspider gushi365 "gushi365.com"4存儲內容 (pipelines.py)設計管道存儲爬取內容
05
五、常用工具
5.1fidder
fidder是一款抓包工具,主要用於手機抓包。
5.2XPath Helper
xpath helper插件是一款免費的chrome爬蟲網頁解析工具。可以幫助用戶解決在獲取xpath路徑時無法正常定位等問題。
谷歌瀏覽器插件xpath helper 的安裝和使用:
https://jingyan.baidu.com/article/1e5468f94694ac484861b77d.html
06
六、分佈式爬蟲
6.1scrapy-redis
Scrapy-redis是為了更方便地實現Scrapy分佈式爬取,而提供了一些以redis為基礎的組件(pip install scrapy-redis)
github網站:https://github.com/rolando/scrapy-redis
6.2分佈式策略
- Master端(核心服務器) :搭建一個Redis數據庫,不負責爬取,只負責url指紋判重、Request的分配,以及數據的存儲
- Slaver端(爬蟲程序執行端) :負責執行爬蟲程序,運行過程中提交新的Request給Master
閱讀更多 Python智禪 的文章