擦除编码(EC),才是数据弹性的未来!

在数据弹性、压缩和重复数据删除方面,创新的速度是非常惊人的。

当涉及到数据弹性时,在RAID(独立磁盘冗余阵列)上运行的经典SAN存储解决方案有很多优势,比如部署它们的专业人员中高度熟悉是一个显著的优势。

此外,RAID运行条带化镜像和奇偶校验请求的能力使其成为传统的首选数据弹性选项。

擦除编码(EC),才是数据弹性的未来!

然而,新数据经济的需求给这种方法带来了越来越大的压力

许多数据中心以和企业发现这种办法的成本太高,恢复时间过长,再加上RAID在恢复过程中存在漏洞问题,所以都在考虑是否有更好的替代方案了。

与基于硬件的模型不同,擦除编码(EC)是一种快速发展的选择

EC是基于算法的,因此不依赖于任何特定的硬件。它不需要专门的硬件控制器,并且提供更好的弹性。更好的是,它还在恢复过程中提供了保护。

根据弹性的程度,当只有一半的数据元素(任何元素)可用时,就可以实现完全恢复。在这方面,它比RAID有很大的优势。

此外,与镜像相比,EC也消耗更少的存储空间。

擦除编码(EC),才是数据弹性的未来!

EC的工作原理

EC在扩展数据之前,会先将数据分解成碎片,然后用冗余的信息对它们进行编码。

这些编码的片段会分布在各种各样的位置上。即使它在一个节点上变得不可读,它仍然可以使用存储在其他地方的数据的信息一起拼凑起来。

与大多数解决方案一样,企业、数据中心和存储专业人员需要权衡考虑。

首先,EC是CPU密集型的,可能会导致延迟问题。但是,值得注意的是,延迟问题并不是一定存在的,它是存储效率和容错能力之间平衡的结果。

另外,还需要权衡两个性能指标,那就是:存储效率和容错能力

它们两者之间的关系是成反比的。存储效率是确保弹性所需的额外存储的指标,而容错能力是元件故障时恢复可能性的指标。

使用EC,数据分布越多(意味着地理位置越分散),从不同的数据中心位置和系统调用的时间就越长。那么,延迟就是不可避免的了。

擦除编码(EC),才是数据弹性的未来!

当出现问题时:节点故障

虽然节点故障和读数降低的问题已经困扰数据中心一段时间了,但是新一代的超规模数据中心加剧了数据弹性的挑战。并非所有的擦除码算法都是同等的,但是最好的解决方案是用低修复带宽和低修复度进行编码。

现代EC已经发展到满足新的数据需求,它包括本地再生代码、可用性代码、顺序恢复码、耦合层MSR码、可选择恢复码等,这些都是高度定制的。

擦除编码(EC),才是数据弹性的未来!

优化EC

尽管擦除编码有很多优点,但实际情况是,它是一项计算密集型工作。

正因为如此,学术界和工业界正在开展研究项目,研究如何优化和卸载EC的各个方面。目前有一些比较好的方案:

硬件创新:这不仅仅取决于算法!随着硬件的发展,GPU或FPGA等计算资源将变得更加高效。

擦除编码(EC),才是数据弹性的未来!

EC算法的并行化:

这是基于以下概念,当多个进程同时执行,并且当现代弹性代码具有某些向量代码的情况时,这些向量方法可以利用GPU核心和高速核心内存(如Texture Memory)实现并行化。

Fabric加速:

下一代主机通道适配器(HCA)提供计算引擎,充分利用RDMA和动词等功能。编码和传输操作在HCA中处理。通过RDMA,能为存储集群提供了更多的加速。

擦除编码(EC),才是数据弹性的未来!

EC的前景如何?

在数据弹性、压缩和重复数据删除方面,创新的速度是惊人的。

由于NVMe技术的极低延迟、存储与应用程序特性的更紧密集成以及更新的虚拟化选项,商业机会已经随着大量新用例的出现而出现。

数据中心和存储专业人员应该熟悉擦除编码。它在恢复过程中提供了更好的弹性、更好的数据保护,并且比传统的RAID解决方案需要更少的存储。

小编相信,擦除编码的未来是光明的,你同意吗?!


分享到:


相關文章: