爬虫代理及ssl验证

IP代理:

import requests

url='https://weibo.com/'

proxies={

'http':'116.196.66.197:99999'

}

# 此处的proxies即为代理,里面的参数为代理ip,到百度搜索‘代理ip’即可获取

response=requests.get(url,proxies=proxies)

content=response.content.decode("gbk")

print(content)

ssl验证设置:

import requests response=requests.get("https://www.12306.cn/ ",verify=False)print('请求的状态',response.status_code)# print('请求的内容',response.content.decode())# 爬取的时候,请求的次数太频繁,网站可能会返回的不是200,这时候就需要判断,将verify设置为false表示无需验证