07.09 看这里!教你如何用python爬虫获取User-Agent!

hello小伙伴们!刚刚学习Python爬虫的小伙伴们应该面临反爬问题,那么初步解决办法除了代理ip还有就是随机生成UA

今天给大家推荐两种随机生成UA的方法,废话不多说了,直接上代码

第一种:

1.导入random模块 :

import random

2.定义一个列表 存放UA,(来源:网上查找,可以去github上查)

list = [{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:22.0) Gecko/20130405 Firefox/22.0'},

{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:14.0) Gecko/20100101 Firefox/18.0.1'},

{'User-Agent': 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.2309.372 Safari/537.36'},

{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20130331 Firefox/21.0'}

]

3.使用random.choice(list)随机获取列表中的一个UA

headers = {'User-Agent':random.choice(list)}

第二种

调用python中的模块,useragent

1.安装fake-useragent

pip install fake-useragent

2.导包

# from fake_useragent import UserAgent

# import random

#

# ua = UserAgent()

# headers = {'User-Agent':ua.random}

# print(headers)

看这里!教你如何用python爬虫获取User-Agent!

更多精彩内容详细了解尚学堂哦!另外,大家如果喜欢的话……求关注求收藏啊!


分享到:


相關文章: