什麼爬蟲軟件爬取的數據能導出MySQL格式?

不婚不戀不生

目前來說,網上的爬蟲軟件挺多的,但是能直接導出mysql格式,並且能正確插入數據庫中的不多,這個和mysql版本、數據格式有一定的關係等,但是可以先導出為excel,整理之後再導入mysql數據庫,這樣出錯的幾率就會減少。下面我介紹3種比較簡單的爬蟲軟件,不需要寫任何代碼,就可以直接爬取數據,並導出為excel表格,分別是Excel,八爪魚和FireSpider,主要如下:

  • Excel爬取數據:相信這個功能,大部分懂excel的人都瞭解,這是excel自帶的一個數據採集的功能,通過訪問對應的網站,可以直接導出網頁數據,下面以爬取PM2.5的數據為例,簡單介紹一下過程:

1.新建一個excel文件,並打開,點擊“數據”->“自網站”->“輸入網址url”->“導入”,如下圖:

2.選中需要導入的數據,點擊導入,如下,Excel已經正確加載出數據,如下圖所示:

excel這種爬取數據的方式比較簡單,也比較容易操作,只要熟悉熟悉操作,很快就能掌握,當然你也可以設置刷新時間,定時更新數據,這裡不再贅述。

  • 八爪魚爬取數據:這是一個免費的爬蟲軟件,挺好用的,功能很強大,大部分網站的數據都能爬取,官方教程也很詳細,熟悉熟悉相關示例,很快就能掌握爬取的過程。下面介紹一下安裝過程,及簡單爬取58同城招聘數據:

1.下載安裝。這個不再多說,直接在官網下載就行,一個exe文件,很快就能安裝完畢:

2.爬取數據,這個過程也比較簡單,按著步驟一步一步來就行,先創建任務,在選擇你要爬取的內容,最後一鍵爬取就行,完成後即可導出為excel文件,如下:

3.對應導出的excel數據如下,已經成功抓取到招聘數據:

這個軟件的官方文檔介紹比較詳細,有詳細的視頻教程,可以爬取許多網站的數據,感興趣的可以實驗一下。

  • FireSpider爬取:這個軟件用起來也挺不錯的,比較簡單,和八爪魚類似,直接操作就行,也不用寫一行代碼,下面我簡單介紹一下這個軟件的安裝過程和簡單示例:

1.下載安裝。這個不多說,直接在官網上面下載個試用版本,一個exe文件,直接雙擊安裝就行:

2.抓取數據的話,直接按著教程步驟一步一步來就行,官方軟件也自帶了教程和相關示例,使用起來也很方便:

至此,excel,八爪魚,和FireSpider這3個爬蟲軟件都介紹完畢,只要你熟悉熟悉操作過程,很快就能掌握的,至於後面的話,需要導入mysql數據庫,這個使用navicat等軟件都可以進行導入,不過有時候存在版本或數據格式問題,這個需要自己調整一下excel數據,然後再進行導入,希望以上分享的內容能對你有所幫助吧。


分享到:


相關文章: