Python爬蟲如何解決Ajax問題?

蔣南亞


ajax俗稱異步加載,很多動態網頁都是由它做動態渲染。

首先如果你想破解必須瞭解基本的原理,即用戶觸發某種機制,發出請求,服務器接收請求返回數據,再然後客戶端接收數據,做出渲染或者響應。

如果你想破解ajax的內容,只需要找到相應的觸發機制(比如頭條就會發三個加密的秘鑰給服務器,如果你能破解這三個秘鑰,那麼你可以隨時隨地拿到頭條響應的數據。),簡單的網站可能不會做加密處理,可能更加容易。只要使用瀏覽器調試工具或者抓包工具,找出請求內容即可。

更簡單的方法則是使用selenium或者splash渲染,動態的寫js或者腳本觸發請求機制,等拿到返回的數據在匹配出來即可。

我是異端,一位集python爬蟲和java原創內容的自媒體。近期會大量更文,對爬蟲感興趣的可以看我的最新的字體庫反爬文章


分享到:


相關文章: