华为FusionStorage8.0,一套存储系统横扫全部应用,你信吗?

我今天将给大家介绍一下华为最新的发布的数据中心级的融合分布式存储FusionStorage。

我们先看一下华为存储的历史,华为进入存储产业到现在为止已经有的10几年的历史,今天看一看我们所取得的成绩,华为的产品从来都是不做第二的,永远都是在做第一。

我们看整体中国市场存储份额,可以看到,华为已经把国外的老的竞争对手已经甩在身后,长期稳居第一。在分布式存储和HCI(超融合)市场里,近几年国内厂商国内厂商表现的很不错,但是华为公司仍然一直保持第一的市场地位。

在2010年开始,我们进入到Gartner通用存储魔力四象限,从特定领域挑战者到领导者,应该说这么多年我们整体市场的地位和影响力,也在一步一步得到了业界的认可。

在这些认可的背后,华为公司一直在不断布局产品的类型,提升我们的产品竞争力,满足各种场景下的用户的诉求。我们的产品覆盖包括低端到高端,包括传统私有存储设备再到公有云存储,从传统介质到全闪存,还有最重要的核心的自研的芯片,可以自豪的说,能够同时提供自研芯片、公有云存储还有企业存储服务的公司,业界只有华为这一家。

华为FusionStorage8.0,一套存储系统横扫全部应用,你信吗?

如果我们提一个问题,存储的核心竞争力还有控制点到底是什么?

我想应该是芯片和算法。

华为公司一直牢牢的把握着芯片自研能力和算法的领先性,这是华为公司一直以来发展的策略。多年来我们在自研芯片和算法上投入了大量的研发能力,在算、传、存、管、用等多个方面我们都具备自给自足的芯片和算法的能力。

同时结合我们的OceanStor,OceanStor是我们的软件平台,通过OceanStor积累的3000万行代码和核心算法,我们共同构筑了华为存储的核心竞争力。

华为FusionStorage8.0,一套存储系统横扫全部应用,你信吗?

如今新产业的蓬勃发展,带动数据高速增长,像今年5G显然是今年业界关注的焦点,虽然美国总在捣乱,但是技术的发展是不可能被阻挡的。随着5G成熟和基础设施不断完善,像超高清的视频、智慧工厂、车联网,这些新兴产业都步入到快速发展期,数据量快速增长。前几年当时预测数据的增长量还是比较有限制,现在最新的数据增长量的预估从2018年10ZB到2025年的180ZB,几乎每年的预测都会往上增长。

这么多年来存储技术本身有了巨大的发展,比如说全闪存存储已经弥补了传统存储在数据中心内的性能上的差异,但是整体来看存储架构没有完全完成云化的转型,现在数据中心里还是有很多的存储孤岛,比如说我们在核心的业务里面,还是用全闪存和高端存储,在一般业务里我们还会用到中低端存储,像归档会用到对象存储,视频分析类会用到文件存储。

随着5G、AI、云这个技术浪潮的发展,对存储的基础架构提出了越来越多的要求,主要体现在哪三个方面要解决的问题?一个是存储孤岛的问题,这个孤岛是一定要消除的。

第二个是耗时费力的数据迁移,这个还越来越多,这个一定要解决。

第三个是管理运维的成本越来越大,管理运维难度也越来越大。

华为公司在今年2月份,在巴塞罗那的世界移动大会上发布了新一代,也是业界的首款数据中心级的融合分布式存储FusionStorage 8.0。

FusionStorage8.0是一个软件定义的分布式存储,它是通过存储架构的创新,消除了存储的多样性。

为什么这么说?

以前我们有那么多种存储硬件产品形态,包括了全闪存、中高低端、对象、大数据、文件,现在我们都可以把这些多存储服务融合在一起。这样可以做到无论是关键的业务,还是非关键的业务,还是新兴业务,都可以用一个数据中心、一套存储来承载,这样使得业务流得以整合,效率提升50%,整体TCO降低40%。

华为FusionStorage8.0,一套存储系统横扫全部应用,你信吗?

同时FusionStorage 8.0支持了自动驾驶存储,这点在根本上改变了传统存储的运维模式。过去当存储设备生命周期要到结束的时候,就会很麻烦,不仅要中断业务进行大量数据的迁移,同时还要再替换掉以前的旧的存储设备。但是现在FusionStorage8.0使用这款产品,我们就可以做到数据免迁移,业务永远在线,不需要中断,软件可以在线升级,硬件可以即插即用,维护成本大幅度降低。

我们再来看一下FusionStorage8.0的独特优势是什么?

华为自研的芯片,华为公有云存储架构,以及华为多年以来积累的企业存储服务能力,这三方面的结合,就是我们这个版本的特殊优势。具体一点我们可以提升大规模扩展能力和高效低TCO。通过跨集群的Flashlink技术和0.5ms时延,通过这个可以把分布式存储代入企业核心业务。

华为FusionStorage8.0,一套存储系统横扫全部应用,你信吗?

同时我们可以把软件功能卸载到硬件芯片里,通过软硬件结合一体化的,可以把可靠性能大幅度提升。

大家对分布式存储研究比较多的话都会有这样一个了解,用户对分布式存储一直以来是有所顾虑的,在用户印象中分布式存储的定位,还主要是在非关键的业务,比如说开发和测试环境。原因主要是认为性能和可靠性还没有达到企业核心应用的能力。但是今天我认为我们可以自豪的说,FusionStorage8.0打破了固有的落后的观念,我们是可以支撑企业核心应用的云存储。

刚才我简单介绍了FusionStorage的三大客户价值,我们一起回顾一下,一个是一个数据中心一套存储,另外是数据永不迁移存储,第三个是自动驾驶存储,在这三大市场价值的背后,我们有七大关键技术点做支撑的。

华为FusionStorage8.0,一套存储系统横扫全部应用,你信吗?

接下来我对这七大关键技术点做一一的解读。

FlashLink,是华为存储特有性能优化技术。它解决的问题是什么?它可以智能的区分出哪些是用户应用过来的数据流量,哪些是我们的后台任务而产生的数据。

接下来它会把这两种不同的数据写在介质不同的区域,这样可以避免相互的影响。能够使得SSD的颗粒减少磨损,而且减少碎片。这样的结果是减少写方大,提升性能。

Flashnk还提供了什么?提供了全局的垃圾回收,我们知道全闪存这里都会涉及到GC,就是垃圾回收的功能,我们可以提供全局垃圾回收,还有全局磨损均衡,还有其他的技术。它可以带来的好处是什么?它可以对SSD的颗粒进行资源的调度,这样结果是可以延长SSD颗粒的使用寿命。可能有些人知道有些人不知道,华为自研了很多硬件芯片,其中也包含了SSD的控制器,因为颗粒这个东西是傻大黑粗的东西,真正有价值的是华为的控制器,这个控制器能决定一个SSD的性能和SSD的寿命。因为不同的写这个数据的方法,以及不同的垃圾回收的方法,会对SSD的介质直接造成影响。

FlashLink还可以做到0.5毫秒的极低的时延,这样各种数据库对性能的要求我们都是能够满足的。

华为FusionStorage8.0,一套存储系统横扫全部应用,你信吗?

FusionStorage的另外一个重要特性叫做真双活,这个特性是分布式存储业内首个数据中心级的双活,我们可以为关键业务提供99.9999%的可靠性。FusionStorage是真正对两个站点之间数据中心的优化,我们尽可能减少来回流量,所以我们才能做到两个站点之间距离延长到100公里,同时能够提供小于2ms的时延。这些也得益于华为存储在传统的企业存储市场这么多年来的积累。这次我们实现真正免网关双活,在业务出现故障的时候我们能够对数据提供最完善的可靠性的保障。基于这个特性为什么可以说FlashLink叫做关键业务云存储的产品。

华为FusionStorage8.0,一套存储系统横扫全部应用,你信吗?

EC Turbo,我相信在座很多人对EC比较了解,相信在座很多人都是专家。EC是分布式存储的一个很重要的技术点。简单来说它可以在提供副本的可靠性能力基础上,能够获得更高的硬盘的得盘率。但是说实话业内大部分分布式产品在EC这个地方做的都不够好。可以说宣传了很多,但是实用性不佳,能够达到商用级别的产品确实不多。为什么?主要是因为一个是EC的算法,EC的算法里性能这块很容易出现一些问题。第二个是写放大,写放大如果比较严重也使得EC的性能会下降。

华为在EC这里做了很多设计工作,所以我们的EC叫做EC Turbo,我们有哪些亮点?第一我们的EC是自研的算法,所以可以作到商用级别做到22+2最佳配比,可以获得91.67%的硬盘得盘率,大家比较熟悉业内几个分布式厂商,基本上商用宣传的是8+2,而我们是可以做到22+2的商用水平。

华为FusionStorage8.0,一套存储系统横扫全部应用,你信吗?

另外我们有智能的IO聚合技术,这个技术可以大幅度提升EC,尤其是小文件的性能,我们可以尽可能的减少写放大的能力,来提升性能。所以我们对外宣称的是使用EC之后性能是无损的,性能是不下降的,我们所有对外宣称产品性能都是在开启EC的情况之下,一般其他友商可能在这个方面玩一些数字游戏。

另外还有一个非常有特点的EC特性,叫做动态EC。实际上我们的集群的规模的改变是比较容易出现的,有两种改变的方式。一种是当集群出现故障的时候,当节点出现故障的时候,集群规模会变小。这个时候故障的节点里面包含的那部分的数据,它的可靠性会降级,我相信大家都比较清楚。但是我们的动态EC的能力,我们可以动态的调整EC冗余配比,保证我们的可靠性不降低。

另外一个变化趋势是集群规模会变大,比如比较常规的扩容维护操作下,集群规模会变大。变大的时候如果你还用原来最初的EC冗余配比,你的成本一定不是最优的。我们就可以做到,通过动态EC可以自动化的适配最新的集群规模,来自动的调整冗余配比,从而达到最优的成本竞争力。

自适应重删,这一点很多人都清楚,我只是讲我们FlashLink重删压缩和业内主要厂家通用特性的差别是什么?

第一我们支持的是全局的重删;第二我们是同时支持在线重删和后重删两种模式;第三我们会根据系统资源的附载情况,我们会自动在在线重删和后重删之间做自动的切换。因为前重删和后重删各有各的优势,我们会通过这种自动调整的方式,保证业务性能达到最优。

还有一点,我们的压缩是用的华为自研的深度的压缩的算法,叫HZ9,这个压缩算法比一般我们用的SZ4的压缩算法提升将近1倍的压缩比。

基于这些技术,FlashLink的重删压缩可以做到5:1的数据缩减比。而且在开启重删压缩这个特性之后,我们可以做到性能的下降不超过15%,我们了解的是业界的其他友商在开启重删的时候,他的性能平均会下降28%。

华为FusionStorage8.0,一套存储系统横扫全部应用,你信吗?

数据跨云流动,可以做到数据管理效率提升50%,大家可能都知道华为有自己的公有云的,所以我们是具备了从边缘云到私有云再到公有云,全套的存储解决方案。所以我们可以很容易的做到企业应用的上云,这里包含了3个具体的技术点。

第一我们的线上和线下使用的都是同一套技术架构,这样保证了我们在边缘、私有云和公有云之间,我们的数据可以自由流动,这是基础。如果你的数据保存的格式类型都不一样,虽然说要流动,但是你的代价一定是很大的,否则你的数据移动到其他地方去读不出来,理解不了,大家必须用相同的语,用相同的持久化的数据格式才行。第二点我们提供了无代理的备份还有秒级的异步复制的特性,代理的好处是什么?我们可以通过备份或者容灾的方式将用户数据上到公有云,一旦业务发生故障的时候,用户自己可以选择到底是从本地恢复还是在公有云侧恢复业务,那就非常的简单。不只是说数据流动,而且业务恢复也可以直接选择在不同的地方恢复,这样就让数据流动更有价值。第三我们提供了跨云的统一管理,还有运维一致性的体验,这样也让跨云的容灾备份变得更加简单。

华为FusionStorage8.0,一套存储系统横扫全部应用,你信吗?

存储永新,这是个很有意思的概念。传统存储在生命周期运维的时候会遇到一些困难,刚才我们也提到当硬件更新换代的时候,或者软件升级的时候,往往需要中断业务,还要产生大量数据迁移,其实数据迁移速度是很慢的。业界现在宣称最牛的,一小时可以传4TB已经很牛了。现在每一块硬盘都在往10+TB,可想而知如果更换1个以前的传统企业出的1个节点,这个节点几百TB需要花多长时间?这个时间简直是不可评估的,而且企业存储云由于架构的原因,它的并发度很差,所以它的数据重构和数据迁移的速度是很有限的。所以这个问题是个非常严重的问题。

现在我们用FusionStorage8.0我们基于分布式存储架构和它的横向扩展能力,我们可以把硬件更新换代转化成为我们的常规的集群的缩容和扩容,就可以解决这个问题,这样能够带来一系列的好处,最主要的是数据是免迁移,我们认为数据不需要迁移,业务也不会中断,整体TCO我们认为会下降40%。

华为FusionStorage8.0,一套存储系统横扫全部应用,你信吗?

自动驾驶存储,刚才我们也大概讲了一下,我们希望做到就像车辆自动驾驶一样,让运维能够非常的简单,不需要过多的人工的参与,我们是怎么做到的?我们是基于AI,包含了5大智能运维技术,我一一的跟大家讲一下第一是智能发放,智能发放是以服务为单位而进行的资源分配,基于这个技术我们可以做到资源发放时间下降90%。

我们会对整个存储的系统,或者应该说整体的数据中心存储系统做一个智能的副本的生命周期管理,这样整体系统上我们可以做到副本浪费的情况减少50%。因为有时候在一个数据中心有很多套存储系统,每一套存储系统都会有一个数据副本,所以你有多少套存储副本,就有多少个副本,如果我们用一套存储系统,实际上这个副本数量就可以减少。所以这50%其实还是比较保守的。

我们对于故障的情况,我们还提供了智能分析和诊断能力,我们可以给出全面的健康的评分,我们可以给出全面的故障的模式库,我们统计了有82%的问题其实我们立即就可以解决,在我们的模式库里一匹配,我们就能知道问题在哪里。同时我们还有一个重点现在打造的就是一个智能预测的能力,我们可以对SLA的级别、容量还有性能都做预测,提前掌控存储的趋势。并且给出了可行的解决问题的意见,这样能够让资源利用率提升20%。

华为FusionStorage8.0,一套存储系统横扫全部应用,你信吗?

最后一个是智能数据流,我们允许用户应用数据可以在不同的SLA之间做平滑的移动,这一系列的技术点都可以提升用户的运维体验,而且能够做到业务不中断。

现在介绍一下两个FusionStorage在行业应用的案例,首先我们看一下关键技术承载的案例。

辽宁移动很有代表性,辽宁移动的数据中心同时有多种供应商、多种产品,相同的产品还有不同的型号,所以运维管理是非常的复杂。但是现在整体运营商都提出叫做多域整合,降本增效,他提出这样一个目标。在这个大的背景之下,FusionStorage就逐渐的承接了辽宁移动的各种业务,包括了边缘以及一直到核心。现在基本上辽宁移动数据中心基本上都用的是FusionStorage。

我们就用一套架构、一种存储和一个管理平台,完成了这个存储业务的整合,整体的TCO降低了40%。

再看一下招商银行,招商银行是比较OPEN的,它在分布式领域里走的比较靠前的银行,早在2015年开始就和华为公司进行了合作,开始推行存储的云化,从开发测试环境,再到OLAP、OLTP还有智能风控、VDI,这么多的场景都使用的是FusionStorage,累计用到了200多个节点。容量有5PB。应该说分布式存储给招商银行带来的最大价值是什么?

客户这边的评价是它提高了业务的敏捷度,能够快速的反映业务的变化,这是非常重要的。因为银行系统业务也会经常变化,如果每次变化都需要大幅度整改他的存储系统和网络系统,那这个数据中心的维护是非常复杂的,所以我们可以帮助招商银行做更懂客户的银行。

以上就是我给大家带来的FusionStorage产品的介绍,希望希望以后大家持续关注华为的分布式存储,持续关注FusionStorage,谢谢大家!


分享到:


相關文章: