BI、數據倉庫、大數據平臺、數據中臺、數據湖、HTAP數據庫概念解析---廣智
引言：
我們的數據經歷了從無到有的年代，各個公司、機關、單位，最早時候都是手工記賬，那個時候沒有電子數據，所有的信息都是靠人用手工方式記錄的，後來有了財務軟件、物流軟件，OA、ERP等，有了業務系統後開始存入了數據，後來又有了商務智能和數據倉庫，有了數據倉庫後就有了幫助建構商業智能(BI)的基礎，未來目標直指人工智能AI,下面介紹一下概念：
一、BI：
BI：指用現代數據倉庫技術、線上分析處理技術、數據挖掘和數據展現技術進行數據分析以實現商業價值。商業智能的概念在1996年最早由加特納集團（Gartner Group）提出，加特納集團將商業智能定義為：商業智能描述了一系列的概念和方法，通過應用基於事實的支持系統來輔助商業決策的制定。聯機分析處理 (OLAP) 的概念最早是由關係數據庫之父E.F.Codd於1993年提出的，他同時提出了關於OLAP的12條準則。OLAP的提出引起了很大的反響，OLAP作為一類產品同聯機事務處理(OLTP) 明顯區分開來。
商業智能廠商：國外（微軟、IBM、SAP ） 國內： 帆軟、 Tableau、power bi奧威,QlikView的Qlik Sense，億信WonderBI也稱豌豆BI,永洪BI、、西安葡萄城
儘管決策支持（也稱為商業智能，報告和在線分析處理）仍然是大多數數據倉庫的核心用例，但我們看到了其向決策自動化的穩步轉變。換句話說，數據倉庫現在正支持著數據科學管道，為數據驅動的推理構建了機器學習應用程序。
二、數據倉庫
數據倉庫： 數據倉庫是決策支持系統（dss）和聯機分析應用數據源的結構化數據環境。數據倉庫研究和解決從數據庫中獲取信息的問題。數據倉庫的特徵在於面向主題、集成性、穩定性和時變性。
數據倉庫廠商：1上海數聚股份，2北京達美盛軟件股份有限公司
3、 大數據平臺
大數據平臺目前業界也沒有統一的定義，但一般情況下，使用了Hadoop、Spark、Storm、Flink等這些分佈式的實時或者離線計算框架，建立計算集群，並在上面運行各種計算任務，這就是通常理解上的大數據平臺。
主要包含：
1. HDFS（分佈式文件存儲）
2. YARN（分佈式資源管理）
3. MapReduce（分佈式計算）
4. Zookeeper（分佈式協調服務）
5. HBase（大數據專用數據庫）
6. Sqoop（遷移數據）將關係數據庫MySQL等中的數據，遷移到或者說導入到HBse Hive
7. 內存快速計算引擎（spark）和storm（流式計算）
8. 分佈式環境下統一監控
9. 數據加工平臺 （ETL\工作流平臺）
10. Redis：內存數據庫。NoSql數據庫。
11. Kafka：大數據中分佈式消息隊列
12. Hive：是一個基於Hadoop的數據倉庫工具。
13. Flink：與Spark類似，分佈式流數據流引擎
四、數據中臺 ：
數據中臺，是指通過數據技術，對海量數據進行採集、計算、存儲、加工，同時統一標準和口徑。數據中臺把數據統一之後，會形成標準數據，再進行存儲，形成大數據資產層，進而為客戶提供高效服務。這些服務跟企業的業務有較強的關聯性，是企業獨有且能複用的，它是企業業務和數據的沉澱，其不僅能降低重複建設、減少煙囪式協作的成本，也是差異化競爭時代的優勢所在。
數據中臺廠商：天雲數據、元年、上海漢得，上海共睿信息技術有限公司，上海派拉軟件，天津海量信息技術，武漢智領雲科技有限公司
中臺從何而來？
中臺，早期是由美軍的作戰體系演化而來的，技術上說的"中臺"主要是指學習這種高效、靈活和強大的指揮作戰體系。
後來中臺由阿里在2015年提出的"大中臺，小前臺"戰略中延伸出來的概念，說到阿里巴巴的中臺就不得不說芬蘭的一家遊戲公司Supercell。
芬蘭的小公司Supercell，這家公司僅有300名員工，卻接連推出爆款遊戲，是全球最會賺錢的明星遊戲公司。
Supercell開創了中臺的"玩法"，並將其運用到了極致。這家看似很小的公司，設置了一個強大的中臺，用以支持眾多的小團隊進行遊戲研發。這樣一來，各個團隊就可以專心創新，不用擔心基礎卻又至關重要的技術支撐問題。
· Supercell的CEO潘納寧將一個遊戲公司按照一個專業運動隊的方式來管理。他認為管理層的唯一使命是獲得最好的人才，為他們創造最好的環境，給他們自由和信任，幫助他們擺脫困境，讓公司成為一個最好人可以產生最大影響的地方。其他的一切，包括財務目標，都是次要的。因此Supercell構建了完全顛倒的管理結構。傳統的管理結構是一個金字塔形的，CEO往往處在金字塔的頂端。而Supercell最大的創新之處，在於其管理結構完全是上下顛倒的。
· Supercell的整體架構採用"開發者領導"的模式。300人的團隊被分成若干個小團隊，5-7個遊戲開發者組成一個小團隊，開發自己的遊戲，以最快的速度推出公測版，檢測遊戲受用戶歡迎的情況。這些小團隊又被稱為"細胞cell"，Supercell則是這些細胞的集合，這也是Supercell公司名的由來。由此可見，中臺不是單純的系統或平臺，更是組織架構的重組和變革。
按照目前普遍的說法，中臺分為6類：
· 數據中臺：提供數據分析能力，幫助企業從數據中學習改進，調整方向。
· 業務中臺：提供重用服務，例如用戶中心、訂單中心之類的開箱即用可重用能力。
· 算法中臺：提供算法能力，幫助提供更加個性化的服務，增強用戶體驗。
· 技術中臺：提供自建系統部分的技術支撐能力，幫助解決基礎設施、分佈式數據庫等底層技術問題。
· 研發中臺：提供自建系統的管理和技術實踐支撐能力，幫助快速搭建項目、管理進度、測試、持續集成、持續交付。
· 組織中臺：為項目提供投資管理、風險管理、資源調度等支持。
五、數據湖：
數據湖通常用作所有企業數據的單個存儲，包括源系統數據的原始副本和用於生成報告，可視化，數據分析和機器學習等任務的轉換數據。它們包含分佈式文件或對象存儲，機器學習模型庫以及高度並行化的處理和存儲資源集群。
數據湖是一個集中的，策劃的和安全的存儲庫，它以原始形式存儲所有數據併為分析做好準備。通過數據湖，您可以分解數據孤島並組合不同類型的分析，已獲商業洞察力並指導更好的業務決策。
6、 HTAP數據庫(OLTP+OLAP)：
HTAP數據庫廠商：天雲數據
作為HTAP(oltp+olap)業務，使用共享分佈式存儲，一寫多讀的架構，是目前最先進的架構，是一種自適應聯機事務和聯機分析處理方式的存儲數據庫，能實現TB向PB、EB級別存儲的飛躍。
HTAP數據庫(OLTP+OLAP)有如下優勢
1. 實例擴容方便（秒級新增只讀節點）
2. 存儲擴容方便（幾乎無限擴展IO、帶寬）
3. 不存在分佈鍵問題
4. 不存在跨庫JOIN問題
5. 不存在分佈式事務問題
6. SQL沒有任何限制，完全可以使用全部sql語句
7. 應用無需改造
8. 支持全局一致性時間點恢復
9. 只讀節點延遲毫秒內
10. 所有節點都支持並行計算
11. 分佈式存儲：存儲和引擎分離後，存儲可以專心支持多副本，支持跨域容災，支持高帶寬，支持幾乎無限的擴容能力。同時與數據庫引擎深度結合，支持硬件級計算、加解密、加解壓、數據過濾、類型預處理等能力。大幅度降低數據傳輸和上層處理的壓力。
12、分佈式行列混合存儲，可彈性部署，平滑升級。
13、利用快照方式，即可支持OLTP方式，也可支持OLAP方式，對處理機制能進行自動判斷。
14、充分利用延遲物化和spark內存管道技術大幅度提升查詢速度，實現上億條數據秒級響應，真正的實現可見即可查的即席查詢。
7、 概括地說，四者的關鍵區別有以下幾方面：
1、數據中臺是企業級的邏輯概念，體現企業 D2V（Data to Value）的能力，為業務提供服務的主要方式是數據 API；
2數據倉庫是一個相對具體的功能概念，是存儲和管理一個或多個主題數據的集合，為業務提供服務的方式主要是分析報表；
3數據平臺是在大數據基礎上出現的融合了結構化和非結構化數據的數據基礎平臺，為業務提供服務的方式主要是直接提供數據集；
4數據中臺距離業務更近，為業務提供速度更快的服務；
5數據倉庫是為了支持管理決策分析，而數據中臺則是將數據服務化之後提供給業務系統，不僅限於分析型場景，也適用於交易型場景；
6數據中臺可以建立在數據倉庫和數據平臺之上，是加速企業從數據到業務價值的過程的中間層。
7、HTAP數據庫的出現，為大數據平臺和數據中臺平臺上部署一種數據庫實現混合存儲成為可能，以往的大數據平臺為了能夠滿足業務和分析的需要，需要部署MPP數據庫+關係型數據庫，如今可以用HTAP數據庫來替代MPP數據庫+關係型數據庫方案。
