BI、数据仓库、大数据平台、数据中台、数据湖、HTAP数据库概念解析---广智
引言：
我们的数据经历了从无到有的年代，各个公司、机关、单位，最早时候都是手工记账，那个时候没有电子数据，所有的信息都是靠人用手工方式记录的，后来有了财务软件、物流软件，OA、ERP等，有了业务系统后开始存入了数据，后来又有了商务智能和数据仓库，有了数据仓库后就有了帮助建构商业智能(BI)的基础，未来目标直指人工智能AI,下面介绍一下概念：
一、BI：
BI：指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。商业智能的概念在1996年最早由加特纳集团（Gartner Group）提出，加特纳集团将商业智能定义为：商业智能描述了一系列的概念和方法，通过应用基于事实的支持系统来辅助商业决策的制定。联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的，他同时提出了关于OLAP的12条准则。OLAP的提出引起了很大的反响，OLAP作为一类产品同联机事务处理(OLTP) 明显区分开来。
商业智能厂商：国外（微软、IBM、SAP ） 国内： 帆软、 Tableau、power bi奥威,QlikView的Qlik Sense，亿信WonderBI也称豌豆BI,永洪BI、、西安葡萄城
尽管决策支持（也称为商业智能，报告和在线分析处理）仍然是大多数数据仓库的核心用例，但我们看到了其向决策自动化的稳步转变。换句话说，数据仓库现在正支持着数据科学管道，为数据驱动的推理构建了机器学习应用程序。
二、数据仓库
数据仓库： 数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。
数据仓库厂商：1上海数聚股份，2北京达美盛软件股份有限公司
3、 大数据平台
大数据平台目前业界也没有统一的定义，但一般情况下，使用了Hadoop、Spark、Storm、Flink等这些分布式的实时或者离线计算框架，建立计算集群，并在上面运行各种计算任务，这就是通常理解上的大数据平台。
主要包含：
1. HDFS（分布式文件存储）
2. YARN（分布式资源管理）
3. MapReduce（分布式计算）
4. Zookeeper（分布式协调服务）
5. HBase（大数据专用数据库）
6. Sqoop（迁移数据）将关系数据库MySQL等中的数据，迁移到或者说导入到HBse Hive
7. 内存快速计算引擎（spark）和storm（流式计算）
8. 分布式环境下统一监控
9. 数据加工平台 （ETL\工作流平台）
10. Redis：内存数据库。NoSql数据库。
11. Kafka：大数据中分布式消息队列
12. Hive：是一个基于Hadoop的数据仓库工具。
13. Flink：与Spark类似，分布式流数据流引擎
四、数据中台 ：
数据中台，是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。这些服务跟企业的业务有较强的关联性，是企业独有且能复用的，它是企业业务和数据的沉淀，其不仅能降低重复建设、减少烟囱式协作的成本，也是差异化竞争时代的优势所在。
数据中台厂商：天云数据、元年、上海汉得，上海共睿信息技术有限公司，上海派拉软件，天津海量信息技术，武汉智领云科技有限公司
中台从何而来？
中台，早期是由美军的作战体系演化而来的，技术上说的"中台"主要是指学习这种高效、灵活和强大的指挥作战体系。
后来中台由阿里在2015年提出的"大中台，小前台"战略中延伸出来的概念，说到阿里巴巴的中台就不得不说芬兰的一家游戏公司Supercell。
芬兰的小公司Supercell，这家公司仅有300名员工，却接连推出爆款游戏，是全球最会赚钱的明星游戏公司。
Supercell开创了中台的"玩法"，并将其运用到了极致。这家看似很小的公司，设置了一个强大的中台，用以支持众多的小团队进行游戏研发。这样一来，各个团队就可以专心创新，不用担心基础却又至关重要的技术支撑问题。
· Supercell的CEO潘纳宁将一个游戏公司按照一个专业运动队的方式来管理。他认为管理层的唯一使命是获得最好的人才，为他们创造最好的环境，给他们自由和信任，帮助他们摆脱困境，让公司成为一个最好人可以产生最大影响的地方。其他的一切，包括财务目标，都是次要的。因此Supercell构建了完全颠倒的管理结构。传统的管理结构是一个金字塔形的，CEO往往处在金字塔的顶端。而Supercell最大的创新之处，在于其管理结构完全是上下颠倒的。
· Supercell的整体架构采用"开发者领导"的模式。300人的团队被分成若干个小团队，5-7个游戏开发者组成一个小团队，开发自己的游戏，以最快的速度推出公测版，检测游戏受用户欢迎的情况。这些小团队又被称为"细胞cell"，Supercell则是这些细胞的集合，这也是Supercell公司名的由来。由此可见，中台不是单纯的系统或平台，更是组织架构的重组和变革。
按照目前普遍的说法，中台分为6类：
· 数据中台：提供数据分析能力，帮助企业从数据中学习改进，调整方向。
· 业务中台：提供重用服务，例如用户中心、订单中心之类的开箱即用可重用能力。
· 算法中台：提供算法能力，帮助提供更加个性化的服务，增强用户体验。
· 技术中台：提供自建系统部分的技术支撑能力，帮助解决基础设施、分布式数据库等底层技术问题。
· 研发中台：提供自建系统的管理和技术实践支撑能力，帮助快速搭建项目、管理进度、测试、持续集成、持续交付。
· 组织中台：为项目提供投资管理、风险管理、资源调度等支持。
五、数据湖：
数据湖通常用作所有企业数据的单个存储，包括源系统数据的原始副本和用于生成报告，可视化，数据分析和机器学习等任务的转换数据。它们包含分布式文件或对象存储，机器学习模型库以及高度并行化的处理和存储资源集群。
数据湖是一个集中的，策划的和安全的存储库，它以原始形式存储所有数据并为分析做好准备。通过数据湖，您可以分解数据孤岛并组合不同类型的分析，已获商业洞察力并指导更好的业务决策。
6、 HTAP数据库(OLTP+OLAP)：
HTAP数据库厂商：天云数据
作为HTAP(oltp+olap)业务，使用共享分布式存储，一写多读的架构，是目前最先进的架构，是一种自适应联机事务和联机分析处理方式的存储数据库，能实现TB向PB、EB级别存储的飞跃。
HTAP数据库(OLTP+OLAP)有如下优势
1. 实例扩容方便（秒级新增只读节点）
2. 存储扩容方便（几乎无限扩展IO、带宽）
3. 不存在分布键问题
4. 不存在跨库JOIN问题
5. 不存在分布式事务问题
6. SQL没有任何限制，完全可以使用全部sql语句
7. 应用无需改造
8. 支持全局一致性时间点恢复
9. 只读节点延迟毫秒内
10. 所有节点都支持并行计算
11. 分布式存储：存储和引擎分离后，存储可以专心支持多副本，支持跨域容灾，支持高带宽，支持几乎无限的扩容能力。同时与数据库引擎深度结合，支持硬件级计算、加解密、加解压、数据过滤、类型预处理等能力。大幅度降低数据传输和上层处理的压力。
12、分布式行列混合存储，可弹性部署，平滑升级。
13、利用快照方式，即可支持OLTP方式，也可支持OLAP方式，对处理机制能进行自动判断。
14、充分利用延迟物化和spark内存管道技术大幅度提升查询速度，实现上亿条数据秒级响应，真正的实现可见即可查的即席查询。
7、 概括地说，四者的关键区别有以下几方面：
1、数据中台是企业级的逻辑概念，体现企业 D2V（Data to Value）的能力，为业务提供服务的主要方式是数据 API；
2数据仓库是一个相对具体的功能概念，是存储和管理一个或多个主题数据的集合，为业务提供服务的方式主要是分析报表；
3数据平台是在大数据基础上出现的融合了结构化和非结构化数据的数据基础平台，为业务提供服务的方式主要是直接提供数据集；
4数据中台距离业务更近，为业务提供速度更快的服务；
5数据仓库是为了支持管理决策分析，而数据中台则是将数据服务化之后提供给业务系统，不仅限于分析型场景，也适用于交易型场景；
6数据中台可以建立在数据仓库和数据平台之上，是加速企业从数据到业务价值的过程的中间层。
7、HTAP数据库的出现，为大数据平台和数据中台平台上部署一种数据库实现混合存储成为可能，以往的大数据平台为了能够满足业务和分析的需要，需要部署MPP数据库+关系型数据库，如今可以用HTAP数据库来替代MPP数据库+关系型数据库方案。
