网络爬虫常见的请求方法有如下几种

方法1：使用urllib2，如果需要设置头信息时，则配合urllib.urlencode(data)使用

import urllib2

req = urllib2.Request(url)此时可以设置传递头信息

response = urllib2.urlopen(req)

方法2：不需要头信息时

import urllib2

response = urllib2.urlopen(url)

html = response.read()

方法3：使用代理

import urllib2

proxy=urllib2.ProxyHandler({'http':'127.0.0.1:8087'})

opener=urllib2.build_opener(proxy,)

response=opener.open(url)

方法4：使用requests

ses=requests.session()

ses.get()

ses.post()

閱讀更多 遊學東莞 的文章

關鍵字: 方法 崔盛希 使用