python3.x 网络爬虫之 urllib 库下 parse 模块

1、parse 模块:他是 urllib 库中的一个模块,属于python3中自带的库模块,不需要再次安装

2、parse 模块下的两个函数:

(1) parse.urlencode:这个函数可以将请求中的非法字符,重新编码成合法字符

(2) parse.parse_qs : 这个函数可以将 urlencode 编码后的字符串解码还原成原来的字符

3、为什么要重新编码?

因为在网络请求的过程中,有些 URL 是带有中文的,但是我们直接使用代码进行请求的时 候是无法被识别的,所以要自己进行重新编码一下,然后再进行请求。

那为什么在浏览器中可以输入中文呢?

因为在你输入之后,浏览器的底层帮你做了重新编码这一步,而这个你是看不见的

代码演示:

# 1、导入 parse 模块
from urllib import parse

# 2、定义一个编码对象
parser = {"name": "小明", "age": "18"}

# 3、重新编码 parser对象
qs = parse.urlencode(parser)

# 4、打印结果
print(qs) # 结果显示为:name=%E5%B0%8F%E6%98%8E&age=18


# 5、使用parse.parse_qs 解码 qs 对象

qss = parse.parse_qs(qs)

# 6、打印解析结果
print(qss) # 结果显示为 :{'name': ['小明'], 'age': ['18']}
python3.x 网络爬虫之 urllib 库下 parse 模块

【纯个人手打,替老师传道,不求多大成就但愿 能帮到大家,在闲暇的时间里为大家共享一些工作经验和各种技术资源文章,希望帮助大家共同进步 也希望我的发布对你有所帮助,我的发布里有更多类似的文章可以查阅,喜欢的请点关注,谢谢。你们的关注是我不停发布的最大动力在我发布里好多类似这样的文章,请尽情阅览】


分享到:


相關文章: