爬蟲代理及ssl驗證

IP代理：

import requests

url='https://weibo.com/'

proxies={

'http':'116.196.66.197:99999'

}

# 此處的proxies即為代理，裡面的參數為代理ip，到百度搜索‘代理ip’即可獲取

response=requests.get(url,proxies=proxies)

content=response.content.decode("gbk")

print(content)

ssl驗證設置：

1. import requests
3. response=requests.get("https://www.12306.cn/ ",verify=False)
4. print('請求的狀態',response.status_code)
5. # print('請求的內容',response.content.decode())
6. # 爬取的時候，請求的次數太頻繁，網站可能會返回的不是200，這時候就需要判斷,將verify設置為false表示無需驗證

關鍵字: ssl url https