現在疫情很嚴重,在這種情況下,希望人人都能乖乖在家,出門戴口罩。從這次也可以看出來,數據可視化和大數據簡直太重要了。
出於無聊,我特地給大家寫了一份全國疫情數據可視化報告,並給大家詳細解釋這張圖的做法。
![Python取數+BI可視化,我是這麼分析並追蹤這次疫情的](http://p2.ttnews.xyz/loading.gif)
數據採集:使用谷歌瀏覽器自帶的開發者工具進行數據包抓取
採集過程:進入網頁後,使用開發者工具進行數據包捕獲
![Python取數+BI可視化,我是這麼分析並追蹤這次疫情的](http://p2.ttnews.xyz/loading.gif)
按鈕為紅色即說明進入捕獲狀態,接著我們刷新一下頁面
可以發現裡面有很多數據包,我們需要的數據是全國確診人數、疑似病例、治癒人數等等數據,那麼如何抓取我們需要的數據呢?
其實在開發者工具裡有一個搜索按鈕,如下圖。
接著利用它來搜索我們需要的數據,比如全國確診的數據:
接著我們看搜索結果的第一條的Response的內容,可以發現這是條json數據,確認後發現,這些數據這正是網頁數據的來源。
至此,數據採集完畢,接下來就是利用python進行數據處理了。由於代碼太多,有需要的看到文末私信我即可。
執行一遍代碼後,打開剛剛生成的Excel表格。
數據分析好之後,我們就要開始對它進行可視化分析了。的確,Python和Matplotlib都能進行可視化的分析,但是需要一定的代碼基礎,不會代碼的人還是佔了大多數,那麼這些人如果想要可視化分析怎麼辦呢?
就是利用可視化數據平臺將收集到的Excel數據可視化處理。
這就是我今天要說到的BI工具FineBI了,這是一款企業級的大數據分析軟件,性價比不但很高,而且個人版還免費~
一、下載並激活
雖說這是一款企業級的數據分析軟件,但是對於個人來說是永久免費的,我從帆軟官網上免費下載並激活,登錄之後,就可以打開到這個頁面。
B/S架構,在瀏覽器上就可以操作,各個模塊都一目瞭然。
二、數據準備
1、數據連接
點擊創建數據連接,新建一個數據連接,輸入自己的用戶名和密碼,點擊測試連接,成功了就可進行下一步。
2、數據導入
添加業務包,先將已經準備好的數據導入,可以是SQL,可以是Excel形式,也可以是數據庫形式,我們這裡添加的是Excel數據集。
3、數據清洗
一般的中大型公司都會有專門的IT人員對數據進行處理,將廢數據扔掉,留下有用的數據,FineBI中帶有的自助數據集就很好的解決了這個問題。
什麼叫自助數據集?就是你將未清洗的數據導入之後,我們可以將我們後面需要分析的數據一個個挑選出來,這一步其實就相當於ETL,只不過省去了寫代碼的煩惱。
再來看看數據可視化的操作步驟吧。
既然是全國疫情,而我們又抓取到了各個地區的數據,我們自然需要製作一個全國疫情的地圖來實現數據的可視化的這樣一個組件。將鼠標移至圖示區域,可看到提示,這需要2個地理緯度。
疫情的顯示應該是越細越好的,所以我們轉換維度需要以城市為目標。於是我們將數據處理一下,
少部分地區沒有匹配上,沒關係,我們點擊確定。
可以發現列表中生成了2個維度,我們將其拖動至橫縱軸。
可以發現圖標類型中地圖類型亮了
選中它,變成了這樣
可以發現雖然有效果,但是顏色的深淺不明顯,我們需要讓顏色有一個參考的數據,這裡以確診人數為例,將其拖動至圖示位置
然後點擊下面的紅色區域:
改變漸變方案,這裡選一個效果明顯的即可
至此地圖組件建立工作大部分完成
但從圖中可以獲取的信息顯然還不足,它只顯示了城市還有確診人數,並沒有顯示治癒還有死亡人數,這裡需要:
分別單擊這三個元素 然後將其拖至提示:
至此,地圖組件實現可視化數據完成!
若要更新數據,只需要執行一遍Python代碼後,將重新生成的data.xlsx文件在FineBI中如圖:
重新上傳一遍後,出現
然後點擊右上角的確定即可,最後的成圖就是這樣:
總結
我不知道這是天災還是人禍,現在說什麼都晚了,只希望今早結束這一切。
關注我,並轉發該文章,私信回覆“疫情”,即可獲得python代碼和BI工具!
閱讀更多 IT技術管理那些事兒 的文章