Python爬蟲總結:requests

1 requests庫網站

英文版網站為最新版本requests庫介紹,中文版網站非最新版requests庫介紹,具體網站如下:

英文版:https://requests.readthedocs.io/en/master/

中文版:http://cn.python-requests.org/zh_CN/latest/

2 requests安裝

在PyCharm中安裝第三方庫,具體操作見下圖:

Python爬蟲總結:requests

Python爬蟲總結:requests

Python爬蟲總結:requests

在搜索框中輸入requests進行安裝。

3 HTTP請求

先導入requests庫,再發送http請求,之後會返回一個response對象其中存儲了服務器響應的內容。

http的get請求如下:

Python爬蟲總結:requests

  • url:要訪問的網址;
  • headers:請求頭;
  • proxies:代理IP;
  • timeout:超時時間,指連接過程,不包含響應體的下載;
  • requests.get():get請求;
  • r.status_code:響應的狀態碼;
  • r.text:返回字符串,基於 HTTP 響應的文本編碼自動解碼響應內容,大多數 Unicode 字符集都能被解碼;
  • r.content:返回原始二進制字節流,可以用來保存圖片等二進制文件;
  • r.raise_for_status:失敗請求(響應碼非200)拋出異常;

4 失敗請求,拋出異常

若請求失敗,則響應狀態碼非200,可以通過r.raise_for_statues()拋出異常。

Python爬蟲總結:requests

所有requests顯示拋出的異常都繼承自r.requests.exceptions.RequestException:ConnectionError、HTTPError、Timeout、TooManyRedirects。


分享到:


相關文章: