提高爬蟲開發效率的幾個小工具

優質文章,第一時間送達!

提高爬虫开发效率的几个小工具

出處:segmentfault

前言

一般開發爬蟲的時候,最心煩的不是它的反爬有多複雜,而是它的參數賊多,要一個個的複製進去。

所以自己寫了一個小工具,把抓包抓到的 header、data、cookie 這些參數轉換成 python 代碼。

大大的提高開發效率,其實代碼之前已經開源了,不過用起來不太方便,於是最近就把它弄到了線上,用起來方便多了。

涉及到的工具或技術

  • Python 3.7

  • Fiddler v5.0

  • Charles v4.2.8

小工具

在線轉換的工具網站:https://alisen39.com/

將 webForms 的數據轉成 dict 格式

工具地址:https://alisen39.com/FiddlerData

在 Fiddler 裡面,webForms 的數據是 POST 請求所帶的參數

提高爬虫开发效率的几个小工具

可以直接將其複製出來然後轉換成 dict 格式,如下:

提高爬虫开发效率的几个小工具

然後將轉換後的結果直接複製到你的爬蟲代碼裡面就可以使用了!

將 Header 數據轉成 dict 格式

工具地址:https://alisen39.com/FiddlerHeader

Fiddler 裡的 Header 部分,在 Raw 選項裡面:

提高爬虫开发效率的几个小工具

將其複製出來,然後粘貼到左邊:

提高爬虫开发效率的几个小工具

將 Cookies 的數據轉成 dict 格式

工具地址:https://alisen39.com/FiddlerCookie

Fiddler 裡抓到的 Cookies 數據:

提高爬虫开发效率的几个小工具

將其複製出來,然後粘貼到左邊:

提高爬虫开发效率的几个小工具

重磅工具!將 raw 的數據轉成 reqeusts代碼

最重磅的一個功能!直接將包的內容轉成python代碼,真心節省90%的時間。

摁頭推薦!!!

工具地址:https://alisen39.com/HttpRaw

複製抓到的Raw信息,從Fiddler或者Charles裡都可以。

提高爬虫开发效率的几个小工具

將其複製出來,然後粘貼到左邊:

提高爬虫开发效率的几个小工具

再將右邊的代碼複製到你的IDE裡面去

提高爬虫开发效率的几个小工具

就這麼esay了。

回覆下方「關鍵詞」,獲取優質資源


回覆關鍵詞「 pybook03」,立即獲取主頁君與小夥伴一起翻譯的《Think Python 2e》電子版

回覆關鍵詞「入門資料」,立即獲取主頁君整理的 10 本 Python 入門書的電子版

回覆關鍵詞「m」,立即獲取Python精選優質文章合集

回覆關鍵詞「」,將數字替換成 0 及以上數字,有驚喜好禮哦~


提高爬蟲開發效率的幾個小工具

好文章,我在看❤️


分享到:


相關文章: