问题三：IP限制
这是目前对后台爬虫中最致命的。网站的防火墙会对某个固定ip在某段时间内请求的次数做限制，如果没有超过上线则正常返回数据，超过了，则拒绝请求，如qq 邮箱。值得说明的是，ip限制有时并非是专门为了针对爬虫的，而大多数时候是出于网站安全原因针对DOS攻击的防御措施。后台爬取时机器和ip有限，很容易达到上线而导致请求被拒绝。目前主要的应对方案是使用代理，这样一来ip的数量就会多一些，但代理ip依然有限，对于这个问题，根本不可能彻底解决。
今天的分享就到这里了，喜欢这篇文章的话记得转发+评论哦！
另外送上这篇文章的福利啦，私信“01”即可获得Python视频资料哦！而且都是免费的哦！
分享到:
閱讀更多 開發袁啊 的文章
關鍵字: 网络爬虫 编程语言 JavaScript
