Python爬虫如何解决Ajax问题?

蒋南亚


ajax俗称异步加载,很多动态网页都是由它做动态渲染。

首先如果你想破解必须了解基本的原理,即用户触发某种机制,发出请求,服务器接收请求返回数据,再然后客户端接收数据,做出渲染或者响应。

如果你想破解ajax的内容,只需要找到相应的触发机制(比如头条就会发三个加密的秘钥给服务器,如果你能破解这三个秘钥,那么你可以随时随地拿到头条响应的数据。),简单的网站可能不会做加密处理,可能更加容易。只要使用浏览器调试工具或者抓包工具,找出请求内容即可。

更简单的方法则是使用selenium或者splash渲染,动态的写js或者脚本触发请求机制,等拿到返回的数据在匹配出来即可。

我是异端,一位集python爬虫和java原创内容的自媒体。近期会大量更文,对爬虫感兴趣的可以看我的最新的字体库反爬文章


分享到:


相關文章: