數據產品經理,該如何搭建數據平臺?

本文作者結合實際工作案例,介紹了在搭建數據平臺的過程中數據產品經理需要注意的流程和使用的工具,與大家分享。

数据产品经理,该如何搭建数据平台?

關於2B/2G數據平臺搭建與一般軟件開發流程整體一致,但是特殊性體現在用戶和數據上。這裡以之前做的一個數據監測平臺為例,以數據為中心,介紹一下數據PM在整個數據平臺開發過程中用到的工具與需重點關注的數據處理流程。

一、常用數據分析工具

1. 數據分析工具

  • Orange:可視化數據挖掘工具,無需coding;
  • SPSS:數據統計軟件,需較強的數據分析能力;
  • Excel:數據統計軟件,需入門級數據分析能力;

2. 數據來源工具

  • 百度指數:數據分享平臺,只用於PM參考,無開放API;
  • 八爪魚:爬蟲工具,只用於PM參考,只支持windows平臺;

3. 數據展示工具

  • Echarts:數據可視化插件,自帶代碼,可與技術人員共享;
  • Tableau:數據可視化分析、展示,可預設計動態數據界面;
  • 易詞雲:詞雲生成器,詞雲樣式豐富。

二、重點數據處理流程

1. 流程概覽

  1. 重點數據提取
  2. 數據採集
  3. 數據評估與運維
  4. 數據展示

2. 具體執行

(1)重點數據提取

我們提取重點數據是為了形成數據指標。在結合其他資深數據產品建議與自身開發經驗的基礎上,這裡介紹一種相對全面實用的數據指標的建設方法:

數據指標=指標名稱+業務大類+維度+彙總方式+量度+關聯維度+時間

提取重點數據,即建立數據指標的過程中,需要產品進一步梳理產品映射的業務邏輯,設計產品底層的數據分析策略。同時基於此,也可協助技術開發人員打開數據表創建思路,以便後臺數據庫搭建(包括數據倉庫建設)。

建立數據指標需重點把握業務大類和維度——

業務大類,一方面可直接按照B/G端客戶的實際業務邏輯進行梳理,另一方面源自產品開發前期的需求分析內容——業務需求之外的其他需求,比如2G數據產品經常關注的輿情方面。在此過程中,需要細化信息顆粒度,全面覆蓋需求進行彙總,再按照重要程度、業務內容進行取捨分類,形成業務大類。

維度,一般按照時間、空間、主體進行劃分。

時間即指年月日以及更小的時間單位,在橫向的時間軸上,數據既要涵蓋對歷史情況的回溯,又要包含對未來事件的預判(需要數據建模)。

空間方面,2B/2G產品關注的空間通常反映為行政等級——國家、省、市、地方等,尤其是對G端產品,這種空間劃分涉及到用戶權限配置,比如省級監管局可看到對應省轄區內的所有數據內容。時間與空間在後期的產品使用中,一般應支持用戶下鑽,進行更細緻的信息查詢。

主體指的產品業務邏輯所涉及到的人、物等,在政府數據監管平臺中,這裡包括受監管的企業、產品。不同的主體一般都存著在複雜的業務聯繫,所以在設計數據模塊時應考慮到用戶對相關的主體維度的關注,在之中創建便捷的跳轉方法。

根據數據指標的定義,數據產品應該支持多種組合查詢,數據展示模塊中應具備聯動功能,如不同的業務+不同的維度查詢,形成篩選器,支持用戶自主查詢。

(2)數據採集

數據採集通常有三種方法:錄入、抓取、建模。

  1. 錄入,支持用戶通過產品後臺進行數據錄入,這種信息通常是通過系統抓取難以獲取的,比如數據來源不確定的信息,需要人工進行錄入。
  2. 抓取:系統對不同數據源的數據進行抓取分析,進行展示,這種信息常為內容類。
  3. 建模:區別與錄入與抓取的直接展示,數據建模主要應用於數據預測,對數據的處理更為複雜,先建模再生成新數據,對原有數據形成補充,完善數據信息或者對未來趨勢形成預測,以支撐決策。

(3)數據評估與運維

數據評估、運維從PM出發,提供兩個參考的角度:質量把控和重要級排序。

質量把控方面嚴格來講,通常大的數據平臺,需要建立專門的數據質量管理系統,對於元數據、接口穩定性等內容進行細緻管理監控。在此,PM可以從數據的來源可靠性、優化處理、工具利用方法等方面進行評估把控,如對抓取信息的網站進行評估篩選,保證數據來源安全可靠。

重要級排序,在沒有真正用戶使用產品的前提下,這種排序是很難進行設計與用戶之間的雙向確認的,所以我們可以在進行產品設計時,允許用戶後期對dashboard等頁面的功能模塊進行自定義的拖拉組建,對我們已經預設的數據內容重要級排序進行修正。

(4)數據展示

這裡從功能、數據呈現方式兩方面進行說明。

數據展示需要的功能在前面的重點數據提取——維度建立已經提過,最重要的是聯動與下鑽,這要求數據在系統中形成一個完整的信息鏈路,既可統攬彙總,又可細化查看,真正做成一個好用的數據工具。

數據呈現方式主要是數據佈局和圖表的選擇。這裡可以參考桃子狸的文章《“NCP疫情分析管控”數據可視化大屏設計總結》中的可視化設計部分。

結語

本篇著重介紹搭建數據平臺過程中,PM對於數據處理需要掌握的工具與重點,基本出自筆者自身經驗,多有不足還請大家指教~

題圖來自Unsplash,基於CC0協議


分享到:


相關文章: