當下的互聯網時代和即將來臨的物聯網時代，企業賴以生存最重要的資源就是數據，企業的每一個大大小小決策都將伴隨著數據分析和挖掘。隨著大數據技術的發展，企業產生的數據越來越多，當下企業有一個重要的切入點就是數據指標異常分析，比如說：用戶數減少，收益率下降等，因此企業需要對重點數據指標進行監控。
傳統數據監控方案
在運營商工作多年，適合用於監控的都是率級的KPI指標，用於監控的方案有如下幾種：
- ① 針對非週期指標，採用是定值監控
- ② 針對業務週期性情況，採用同環比監控
由於數據採集處理過程，難免會出現系統性故障，為了減少誤干擾，儘量降低人力成本，因此在上述方案中進行了演進，如增加輔助指標範圍（當業務量大於閾值後才觸發指標告警），延長統計週期（連續3個週期均出現指標劣化）等。
優點是方案簡單易於理解執行；缺點也很明顯，以下兩點較為突出：
- ① 針對每個指標都需要經過數據分析才能定下閾值。
- ② 隨著時間變化，指標的特徵也會產生變化，傳統算法很難及時更新。
因此需要新的方案來解決以上難題。
人工智能數據監控
隨著機器學習的快速發展，很多技術得以實施於生產環境，下面主要介紹一下人工智能方案如何用於數據指標監控。
一、機器學習之動態閾值監控
根據歷史數據預測閾值，用於後續數據進行監控，當下有兩種方案：①時間序列預測法；②機器學習之迴歸預測。
常用的時間序列預測法模型有傳統的ARIMA模型，還有基於神經網絡的LSTM模型；機器學習迴歸預測模型算法有很多，建議採用集成算法模型，如隨機森林、GBDT、XGBOOST等模型，對於小數據的也可以採用支持向量機算法。
二、人工智能之整體質量評估
以上都是針對單個指標進行預測監控，每個重要的維度都需要尋找合適的指標，是否有一勞永逸的方案呢？
答案是肯定的。我們可以根據最基礎的數據進行分析及監控，具體的思路如下：首先我們對所有維度數據進行降維處理，再進行聚類分析，通過專家分析數量較小的類簇的問題形成知識庫，最後通過半監督學習在完善知識庫的過程中進行故障問題預警，待知識庫達到一定的規模就可以行進行監督學習監控了。
好了，今天就到這裡，後續將逐一進行分析分享，如有疑問，歡迎大家關注留言。
閱讀更多 AI上金融 的文章
