「技术探秘」5“芯”保障端到端数据加速,关键路径永快一步

当前我们已经进入数字化时代,每个人无时无刻都在产生着大量的数据,而 5G 和物联网的出现,让数 据的增长速度更是成指数级的增长。根据 IDC 和华为联合预测,数据将从 2018 年的 33 ZB 增长到 2025 年 的 180 ZB。面对数据洪流,企业必须要有更快更强的数据处理和存储的能力。

华为通过在芯片领域不断的积累和持续投入,围绕 SSD 构建了最强性能全闪存产品 --OceanStor Dorado 新一 代全闪存。

在 OceanStor Dorado 新一代全闪存里,华为通过对传、算、智、存、管的垂直整合,构建了端到端的芯片平台, 它包含 5 种华为芯片:


「技术探秘」5“芯”保障端到端数据加速,关键路径永快一步

  1. 智能多协议接口芯片承载了本应由通用 CPU 负责的协议解析工作,加速前端访问性能 2 倍;
  2. 智能处理器芯片 鲲鹏920采用业界标杆性能的 CPU,算力优于业界水准 25%,单控制器性能提升 2 倍;
  3. 智能AI芯片昇腾310基于机器学习框架,主动分析并掌握多个应用模型的 I/O 规律,实现内存空间的智能预取, 读缓存命中率提升 50%;
  4. 智能SSD控制芯片承载核心FTL(FlashTranslation Layer)算法,加速SSD盘内数据访问,写时延降低50%;
  5. 智能BMC管理芯片内置华为存储故障基因库,加速部件故障诊断和定位,准确率达到 93%。

下面我们详细讲讲OceanStor Dorado 新一代全闪存如何通过这5颗智能芯片实现最强性能的

智能多协议接口芯片, 加速前端网络数据读写

数据通过网络从服务器传送到存储阵列,到达存储阵列的第一站就是前端接口卡。如果拿汽车比喻,前端卡就像 是进气系统,简单讲前端接口卡的作用就是将数据从传送它的数据包中剥离出来,然后交给 CPU 完成后面的工作。 既然是合作搞事情,那么前端卡的处理能力越强,能干的事情越多,CPU 就能干更多其他更重要的事情,整体效率就提升了

「技术探秘」5“芯”保障端到端数据加速,关键路径永快一步

智能多协议接口芯片

事实上,就是这个思路,华为 OceanStor Dorado 全闪存给这个进气系统增加了一个涡轮,强力加速。它 通过智能多协议接口芯片承载原来由 CPU 基于软件逻辑 实现的checksum、FC等协议栈功能,满足存储业务 高并发 IO 吞吐、低延时响应的业务要求。

经实测,华为 OceanStor Dorado 全闪存基于 7:3 数据读写,8K I/O 数据块的测试模型,比较普通前端接 口卡和智能芯片接口卡,数据访问时延从160μs降低 到 80μs,加速前端访问性能 2 倍。

另外,目前业内可见的前端卡包括了8G/16G/32G FC、1/10/25/40/100 GE 等,每张前端卡仅能支持 一种协议,不能灵活转换,无疑是一种浪费!为了更高 效的使用前端卡,华为创新的采用了智能多协议接口芯 片,它集成了 FC/IP 等多种协议接口,并支持业界领先 的 FC-NVMe 和 NVMe Over Roce,用户可将通过 IP、FC 和 NVMe 协议承载的数据整合到同一个接口芯片中,极大增加了网络灵活性,简化了网络管理,降低 了用户的网络建设和维护成本。更为重要的是,华为率 先在 OceanStor Dorado 全系产品支持前端和后端 NVMe 协议,一方面,访问时延可低至 100μs,完全 满足最苛刻的交易类业务所需;另一方面,可基于预算 选择任意一款技术领先和商务匹配的产品,承载企业关 键业务。

鲲鹏 920 智能处理器芯片,众核技术提升处理能力2倍

数据的第二站是CPU。如果说前端卡是汽车发动 机的涡轮,为发动机提供高速空气,那么CPU就是汽 车的发动机,它为存储系统高速处理数据提供动力。

「技术探秘」5“芯”保障端到端数据加速,关键路径永快一步

鲲鹏920智能处理器芯片

怎么能做到最强处理性能呢?首先就是要增强发动 机性能,鲲鹏 920 单芯片按照 SPECint Benchmark 评测标准,跑分超过930分,超越业界主流CPU,将 性能纪录提升了 25%,创造性能纪录。然后是增加发动 机数量,OceanStor Dorado 全闪存单引擎最大提供 CPU 核数:768 核,业界最多。

但是要这么大数量的核持续稳定的输出性能,就不 是我们说说这么简单了。随着核数的增加,性能并不会 线性增长。这是因为CPU要做的事情很繁杂,不同的 任务会有不同的处理流程和方法。CPU会不停的在不 同任务间切换,导致增加的性能白白被浪费。

华为提供智能众核技术完美解决这个问题。智能众 核技术就好比当年亨利∙ 福特发明的汽车流水线,按照 不同的任务建立多条流水生产线,每一条流水线只负责 一种任务的处理,做到术业有专攻。同时,根据任务的 重要程度为每个流水线分配不同的核数,比如读写的任 务就比空间回收的任务重要性高,负责读写任务的流水 线分配的核数就多。

那么智能体现在哪里呢?主要有两点,一个是任务 进入流水线前,会有智能分发算法,根据每条流水线的 作业进度和数据分布情况,合理安排任务。智能分发算 法会尽量让任务均匀的分布到每一个流水线,实现业务压力的负载均衡。另一个智能是,CPU内置了智能调 度算法,它根据核的繁忙情况,动态调度核资源,保证 一个CPU内的48个核都能均衡工作,爆发出最大算力。 比如有12个核在进行读写I/O的任务,但是这个时候 读写任务量很大,已经开始排队了,而负责 cache 下盘 的 8 个核整体负载不高,这个时候智能调度算法就会临 时征调2个cache下盘的核用于读写任务,而剩下的 cache 下盘的核也会在智能调度算法的控制下,重新进 行负载均衡,这样就能保证所有的核始终能最大限度的 发挥作用 , 最终实现了随控制器节点数、控制器内 CPU 数、CPU内核数的增加,性能线性增长,用户性能体 验 2 倍提升。


「技术探秘」5“芯”保障端到端数据加速,关键路径永快一步

鲲鹏920智能算法

这 里 特 别 强 调 一 点, 鲲 鹏 CPU 不 仅 仅 用 在 OceanStor Dorado 新一代全闪存的引擎中,华为还 首创把它用在智能硬盘框上,使得硬盘框具有计算能力, 重构操作可以放到智能硬盘框上的鲲鹏处理器处理,达 到 15 分钟 /TB 的极致重构速度,领先业内 20 倍。

昇腾 310 智能 AI 芯片,提升读命中率 50%

有了性能强劲的发动机,怎么能没有高效智能的自动变速箱呢?智能 AI 芯片昇腾 310 就为实现自动加速而生,它 是华为公司独立开发的第一颗极致高效计算的 AI 芯片,基于业务 I/O 智能调节缓存分配,提升读命中效率 50%。


「技术探秘」5“芯”保障端到端数据加速,关键路径永快一步

昇腾310芯片 + 智能算法

那么昇腾310是怎么帮助提升预测准确率的呢?我 们知道,存储系统收到的数据是一份一份的,每一份我 们叫做一个 I/O。不同的业务发送过来的 I/O 是千差万别 的,但是I/O之间也是互相关联的,最常见的是时间关联、 空间关联和语义关联。时间关联就像是8点后面是9点, 空间关联就像是中国的北面是俄罗斯和蒙古。语义关联 就像我们说“北极熊是世界上…”,后面大概率是想说“体 型最大的熊”。我们只需要把这些关联挖掘出来,自然 就能提高预取的准确率。

昇腾310集成了自调优的深度学习算法,可以对上 层业务的全量I/O数据从时间关联、空间关联和语义关 联上进行快速分析和深度挖掘。当 I/O 过来后,它会立 刻判断出即将访问的数据,并告诉 CPU 赶快分配到读 cache中。同时,它还在后台不断对已有数据进行二 次学习,进一步提升准确率。最后是通过对预取命中率、 浪费率、时延等关键性能指标进行评估,然后智能调整。

经实测,OceanStor Dorado 全闪存在 100% 随 机读,64K 以内 I/O 数据块测试模型,读 cache 命中 率从 19% 提升到 69%。

智能 SSD 控制芯片,SSD 盘内写速度提升 2 倍

数据通过前端接口卡、CPU,最终要保存在SSD 盘上,它就像车的油箱,所有的生产资料和动力来源都 保存在这里,其性能和稳定性至关重要。如果有一套系 统能够根据天气、路程、车况等综合因素精准控制喷油量, 可实现全线智能加速,并延长车的使用寿命。

SSD 盘作为数据的最终载体,它的情况同样如此。 SSD 盘主要由包含 SSD Controller 和 DRAM 在内的控制单元和NAND Flash存储单元组成。控制单元负 责数据读写,采用 FTL(Flash Translation Layer) 保存用户LBA到SSD盘内物理页面的映射关系,它是 整个 SSD 的核心,决定了 SSD 数据读写的响应速度。 NAND Fash 存储单元则是数据最后的家。

「技术探秘」5“芯”保障端到端数据加速,关键路径永快一步

智能SSD控制芯片

怎么获得极致性能呢?华为的办法是专有芯片加速。 将FTL算法从SSD内部的控制软件层挪到SSD控制 芯片内实现,所有读写 FTL 的操作全部由芯片完成,减 少软件交互次数,有效降低 IO 响应的时延。

经实测,在低负载场景下(队列深度为1,4KB随 机写),NVMe SSD 写时延从 40μs 降低到 20μs , SSD 盘内写速度提升 2 倍。

智能 BMC 管理芯片,故障定位准确率提升到 93%

「技术探秘」5“芯”保障端到端数据加速,关键路径永快一步

智能BMC管理芯片

最后我们来讲讲管理。一部好车必然有一个品质 卓越的中控台,它能基于路况实时调整车辆行驶状态, 更高级的可结合路况和车辆历史使用情况智能预测未 来可能发生的状况,避免交通意外。华为 OceanStor Dorado全闪存也采用了这种领先的理念,采用智能 BMC管理芯片,内置的故障诊断和故障预警两大专家库,提供快速诊断和提前预警的能力,有效保障设备稳定运行。控制器中有很多硬件单元,在某些情况下硬件单元自己是不 知道自己处在即将故障的状态,由于内置了诊断专家库,通过专家库能提前发现这些亚健康的硬件单元,然后进行初步 处理,比如复位,当处理失败,会上报该硬件单元的具体故障信息,将故障定位准确率提升到 93%,使华为存储的故 障恢复时间从 2 小时缩短到 10 分钟,真正做到了药到病除。

华为自主创新的 5 颗智能芯是否做到了性能“永快一步”呢?基于 SPC-1 测试模型, OceanStor Dorado 全闪 存可达 20,000,000 IOPS 的业界最高性能,是友商 2 倍。

「技术探秘」5“芯”保障端到端数据加速,关键路径永快一步

SPC-1场景IOPS对比

在数据库场景,双控,100% 全随机,7:3 混合 读写,80%空间占用,1ms时延,可得容量模型,华 为 OceanStor Dorado 18800 全闪存实测 640,000 IOPS,是友商 2 倍。

「技术探秘」5“芯”保障端到端数据加速,关键路径永快一步

数据库场景IOPS对比

在虚拟桌面场景,双控,100 块 3.84TB SSD, 8TB/LUN, 50GB/VDI 测 试 模 型, 华 为 OceanStor Dorado 18800 全闪存在 Word/PowerPoint/Excel 应 用测试中,启动响应时间缩短 80%。

「技术探秘」5“芯”保障端到端数据加速,关键路径永快一步

VDI场景引用响应时间对比

<strong>OceanStor Dorado 全闪存通过5颗智能芯片实现端到端数据加速,关键路径永快一步!


分享到:


相關文章: