爬虫学习之HttpClient简单练习

HttpClient

简单使用一下

首先我们创建一个运行类

爬虫学习之HttpClient简单练习

创建HttpClient对象

爬虫学习之HttpClient简单练习

创建HttpGet对象,设置Url访问地址

爬虫学习之HttpClient简单练习

使用HttpClient发起请求,获取Response

爬虫学习之HttpClient简单练习

解析响应

爬虫学习之HttpClient简单练习

注意释放资源

关闭response

爬虫学习之HttpClient简单练习

关闭httpClient

爬虫学习之HttpClient简单练习

运行下

爬虫学习之HttpClient简单练习

我们可以获取请求的信息

爬虫学习之HttpClient简单练习

如果搜索信息

爬虫学习之HttpClient简单练习

就会发现URL有变化,此时带了参数

爬虫学习之HttpClient简单练习

我们修改代码,首先创建URIBuilder

爬虫学习之HttpClient简单练习

设置参数

爬虫学习之HttpClient简单练习

把URI提供给HttpGet

爬虫学习之HttpClient简单练习

运行结果

爬虫学习之HttpClient简单练习

我们继续改为Post请求

爬虫学习之HttpClient简单练习

查看结果

爬虫学习之HttpClient简单练习

Post请求如果带参数和Get相比不一样的地方是Url地址中不带参数,是在表单中进行提交的

首先声明List集合,封装表单中的参数

爬虫学习之HttpClient简单练习

创建表单的Entity对象

爬虫学习之HttpClient简单练习

设置表单的Entity对象到参数中

爬虫学习之HttpClient简单练习

查看结果

爬虫学习之HttpClient简单练习

连接池

如果每次请求都要创建HttpClient,会有频繁的创建和销毁的问题,可以使用连接池来解决问题

用代码测试下

创建连接池管理器

爬虫学习之HttpClient简单练习

创建doGet方法

爬虫学习之HttpClient简单练习

注意不关闭HttpClient

爬虫学习之HttpClient简单练习

使用连接器管理器发起请求

爬虫学习之HttpClient简单练习

设置连接数

爬虫学习之HttpClient简单练习

设置每个主机的最大连接数,和上面最大连接数相比这个是设置访问主机限制

爬虫学习之HttpClient简单练习

有时候因为网络,或者目标服务器原因,请求需要很长的时间才能完成,这就需要我们自定义相关时间。

配置请求信息

爬虫学习之HttpClient简单练习

设置配置信息

爬虫学习之HttpClient简单练习


分享到:


相關文章: