一文讀懂BI商業智能與大數據應用的區別

一文讀懂BI商業智能與大數據應用的區別

BI(BusinessIntelligence)即商務智能,它是一套完整的解決方案,用來將企業中現有的數據進行有效的整合,快速準確的提供報表並提出決策依據,幫助企業做出明智的業務經營決策。

伴隨著BI的發展,是ETL,數據集成平臺等概念的提出。 ETL,Extraction Transformation Loading,數據提取、轉換和加載,數據集成平臺主要功能對各種業務數據進行抽取和相關轉化,以此來滿足BI、數據倉庫對數據格式和內容挖掘的要求。

數據集成平臺的基礎工作與ETL有很大的相似性,其主要功能 是實現不同系統不同格式數據地抽取,並且按照目標需求轉化成為相應的格式。數據集成開始是點對點的,慢慢地發現這種模式對於系統之間,不同所有權的企業數 據流向以及數據標準控制很難,為此,誕生了對統一企業數據平臺的需求,來實現企業級之間的數據交互。

數據集成平臺就像網絡中Hub,可以連接所有應用系統,實現系統之間數據的互通有無。數據集成平臺以BI、數據倉庫需求而產生,現在已經跨越了最初的需求,上升到了一個更高的階段。

如今大數據應用更多關注非結構化數據,更多談論互聯網,Twitter、Facebook、博客等非結構化數據,如此理解大數據應用,顯然就有些走偏了。結構化數據也屬於大數據,且呈現出相同的特點和特徵,如數據量大,增長越來越快,對數據處理要求高等。

結構化數據是廣義大數據中含金量或者價值密度最高的一部分數據,與之相比,非結構化數據含金量高但價值密度低。在Hadoop平臺出現之前,沒有人談論大數據。數據應用主要是結構化數據,多采用IBM、HP等老牌廠商的小型機或服務器設備。

採用傳統方法處理這些價值密度低的非結構化數據,被認為是不值得的,因為其產出實在是有限。Hadoop平臺出現之後,提供了一種開放的、廉價的、基於普通商業硬件的平臺,其核心是分佈式大規模並行處理,從而為非結構化數據處理創造條件。

大數據應用的數據來源應該包括結構化數據,如各種數據庫、各 種結構化文件、消息隊列和應用系統數據等,其次才是非結構化數據,又可以進一步細分為兩部分,一是社交媒體,如Twitter、Facebook、博客等 產生的數據,包括用戶點擊的習慣/特點,發表的評論,評論的特點,網民之間的關係等,這些都構成了大數據來源。另外一部分數據,也是數據量比較大的數據, 就是機器設備以及傳感器所產生的數據。以電信行業為例,CDR、呼叫記錄,這些數據都屬於原始傳感器數據,主要來自路由器或者基站。此外,手機的置傳感 器,各種手持設備、門禁系統,攝像頭、ATM機等,其數據量也非常巨大。

對於分析大數據的工具,目前所有的分析工具都側重於結構化分析,例如針對社交媒體評論方向的分析,根據特定的詞頻或者語義,通過統計正面/負面評論的比例,來確定評論性質。如果有一個應用系統是接收結構化數據的,例如一個分析系統,接收這些語義就可以便於分析。

讓大數據應用落地,其中的關鍵在於與行業應用的深度融合。

公安行業的視頻影像處理是一個特定應用領域,傳統BI、 ETL工具拿這些數據沒有辦法,採用分佈式Hadoop進行處理能夠帶來很好的效益,因為Hadoop可以處理數據量足夠大。公安行業實際上已採集了大量 視頻影像數據,利用這些數據,可以追蹤一個嫌疑犯的行蹤,什麼時間在全國哪些地區出現過。這些應用不可能單純依靠人的力量,需要藉助人臉識別、圖像識別技 術、模式處理,數據壓縮等技術,需要海量處理軟件,抓出相關特徵,幫助公安人員提高工作效率。

在電信行業,計費系統實際上是對各種數據進行整合後的結果, 是一個縮小的數據。藉助大數據應用,運營商可以原始大數據進行分析,例如分析傳感器數據是否有異常,從而判斷設備異常等,這些都是一些用傳統BI工具無法 實現的分析,其結果往往會出乎意料,幫助運營商提高服務水平以及用戶的滿意度。

在互聯網行業,通過分析手機上網軌跡,可以分析瞭解客戶群,瞭解用戶的偏好,此外,獲取地理位置的信息,也具有特定價值。

從這些行業大數據應用分析來看,一個是視頻影像處理,一個是日誌分析,另外一個是處理特定文件格式的分析處理,彼此之間顯然沒有任何通用性的特點,其共同點就是利用了廉價的大數據處理平臺。

Via 互聯網分析沙龍


分享到:


相關文章: