工業大數據就做這四件事:採集、存儲、分析、挖掘

工業大數據就做這四件事:採集、存儲、分析、挖掘

無論是智能製造、工業4.0還是工業互聯網,都離不開數據。工業大數據從傳感器採集數據開始,最後到建模預測,有一個數據逐漸集中,數據加工深度、難度、複雜度逐漸遞增的過程。與此對應,工業大數據就分為數據採集、數據存儲、數據分析和數據挖掘四個順序工作。

數據採集

數據採集是指從現有的智能網關或工廠控制系統中讀取歷史和實時數據。工控系統主要指PLC、DCS、SCADA等。相對於工業物聯網和工業互聯網,工業大數據的工作要抽象一點,不再關注感知、聯網、傳輸協議等問題,而是從已有數據庫中抽取數據。工業大數據的數據來源,最低級的是利用OPC UA從PLC中讀取數據,最高級的是實時數據庫,如PI。

數據存儲

數據存儲是指對採集的數據,進行統一的、長時間的保存。基於工業大數據的應用,特別是機器學習的建模,需要大量的歷史數據用於訓練。數據量越大,模型預測效果越好。需要統一數據存儲的原因是:

1、 企業數據來源眾多,每個設備、產線都是數據來源,由不同廠家提供,使用不同的組態軟件,不同的實時數據庫,因此,需要整合為可以在同一個地方,同一種格式訪問的數據倉庫。

2、 由於工控系統中的存儲空間限制,大部分數據會被定時清除,不能長期保存,比如DCS一般設定三個月的保存時間。

3、 工控系統中測點眾多,很多測量數據沒有長期保存價值,比如開關狀態

數據存儲地方主要是時序數據庫和數據倉庫。時序數據庫主要保存傳感器採集的測量數據,數據倉庫保存經聚合計算的時序數據,和來自其它信息系統中關係數據庫的數據。

數據分析

數據分析就是對數據倉庫裡的數據進行分析。數據分析按成熟度區分,分為描述性數據分析、診斷性數據分析、預測性數據分析和規範性數據分析。可供最終用戶使用的形式,有數據看板、統計報表、多維分析、自助分析、移動應用和數據挖掘,具體詳見 。

數據分析從數據倉庫中讀取數據,通過維度模型,通過API為數據看板或統計報表提供數據服務,實現所謂的數據中臺( )。

自組分析既可以用來自多維分析的立方體,來自數據倉庫,也可以來自API。

移動應用實際上是其它幾種形式在手機上的展現。比如說數據看板、多維分析和統計報表,都可以顯示在PC機上的同時把數據展示在手機上。

數據挖掘

數據挖掘是基於數據倉庫,對數據進行建模、訓練,然後做預測。

數據挖掘是數據分析的一部分,預測性數據分析和規範性數據分析都離不開數據挖掘。把數據挖掘單列,是因為它是數據分析中技術要求高、個性化強、風險大的一項工作。

相對於其它數據分析的應用方式,開展數據挖掘工作有一些特殊要求,比如:

1、 要有比較多、比較全的數據,因此需要在開展數據採集、數據存儲、數據分析工作一段時間後開展比較有利

2、 需要通過多維數據分析等手段掌握生產運行的規模,彌補行業經驗的不足,在建模時選擇更有價值的特徵

3、 會經常遇到數據挖掘結果沒有價值,預測準確性不高的情況


分享到:


相關文章: