Python爬虫总结:requests

1 requests库网站

英文版网站为最新版本requests库介绍,中文版网站非最新版requests库介绍,具体网站如下:

英文版:https://requests.readthedocs.io/en/master/

中文版:http://cn.python-requests.org/zh_CN/latest/

2 requests安装

在PyCharm中安装第三方库,具体操作见下图:

Python爬虫总结:requests

Python爬虫总结:requests

Python爬虫总结:requests

在搜索框中输入requests进行安装。

3 HTTP请求

先导入requests库,再发送http请求,之后会返回一个response对象其中存储了服务器响应的内容。

http的get请求如下:

Python爬虫总结:requests

  • url:要访问的网址;
  • headers:请求头;
  • proxies:代理IP;
  • timeout:超时时间,指连接过程,不包含响应体的下载;
  • requests.get():get请求;
  • r.status_code:响应的状态码;
  • r.text:返回字符串,基于 HTTP 响应的文本编码自动解码响应内容,大多数 Unicode 字符集都能被解码;
  • r.content:返回原始二进制字节流,可以用来保存图片等二进制文件;
  • r.raise_for_status:失败请求(响应码非200)抛出异常;

4 失败请求,抛出异常

若请求失败,则响应状态码非200,可以通过r.raise_for_statues()抛出异常。

Python爬虫总结:requests

所有requests显示抛出的异常都继承自r.requests.exceptions.RequestException:ConnectionError、HTTPError、Timeout、TooManyRedirects。


分享到:


相關文章: