对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

剩蛋节快到了,我打算给大家送上性感的圣诞大餐,密集发布我对各家对象存储的技术架构剖析。

目前,我已经剖析了EMC和IBM它们对象的架构

对象存储技术架构剖析之一:Dell EMC ECS

对象存储技术架构剖析之二:IBM COS

本来第三个厂商我想解读NetApp的,但从投票的结果看,这次最佳对象存储大部分网友居然投给了Hitachi Vantara,不是EMC,也不是IBM,奇怪。

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

好吧,既然大家对HCP这么感兴趣,我今天就先来给大家分享HCP的技术架构。

HCP其实代表Hitachi Content Platform,即日立的内容管理平台。其实,最早的对象存储叫CAS,即内容寻址存储(Content-addressable storage)。因此,从HCP这个名字,就觉得HCP肯定来源于早期的CAS。

恭喜你,猜对了。HCP来源于2003年的一个初创公司Archivas。

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

•Archivas 2003年在美国马萨诸塞州成立,三轮风险投资中共募集了2800万美金的资金

•Archivas的主打产品ArC(Archivas Cluster)软件是一款内容寻址存储(CAS,content a

ddressed storage)产品。早期的Archivas在面临EMC的Centera的竞争时,选择了开放和低价的策略。

•2006年开始和HDS进行OEM合作,2007年被HDS收购,收购金额约1.2亿美金

HCP目前最新版本是8.3,架构比较老。我听原HDS的网友说原计划进行代码重构,19年会发布全新架构的9.0,但可惜目前没有看到。有知道内情的麻烦告诉大家一声啥时候推出。

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

基于对象存储HCP,还有三个衍生产品。HCP Anywhere相当于网盘,HCP Anywhere Edge是云文件网关,HCI是智能数据挖掘平台。本文只讨论HCP。

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

HCP强调生态,和ISV的合作比较紧密。2018年,Hitachi Vantara宣传在全球范围内有4000多个集群,有2000多家客户,号称目前在on-Prem对象存储解决方案中排名第一(那个EMC估计表示不服,哈哈)。

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

HCP是做CAS起家,在金融机构合规方面有很多成功案例。因为其具有很多合规需要的特性。

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

我们看到,类似Shredding(粉碎)这样的特性,我在其他对象存储里面没有看到。还有,我们看到,HCP居然支持重删,对象存储原生支持重删的,HCP也是主流对象里面唯一一家。

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

HCP虽然支持纯软件,但一般会推荐一体机的部署模式。一体机有两种节点,G节点和S节点。两个类型的节点都是最多支持80个。

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

•G是访问节点(单控,节点内本地盘RAID 6保护),最少需要四个。S节点是存储高密节点(双控,和G10采用以太网连接),节点内采用纠删码保护(20+6,chunk size=64MB),是可选的。

•G节点还支持FC SAN、NFS和公有云作为后端存储,因此,类似MinIO一样,更像一个对象网关。

•元数据和索引保存在G10上,一般采用2副本,这样才能支持G节点高可用。

•性能较高数据直接采用G10本地盘或者共享FC存储,性能要求不高的一般采用S节点保存。

•采用共享SAN存储和S节点保存数据的时候,数据可以选择1副本,G10通过多路径进行HA,G节点故障可以切换,S节点本身全冗余的,因此也没有单点故障

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

HCP也支持虚拟机(最多40个节点)和公有云部署(无节点限制)模式。on-prem部署原生支持SMB和NFS,任何一种协议写入,其他协议都可以读取。

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

Hitachi Vantara最新发布了全闪存节点G10 All Flash。S节点都是双控全冗余的。网络全是万兆接口。S节点也是最多可以扩展到80个。

下面我们来看看其软件架构。

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

HCP的功能基本都在访问节点实现,有多协议互访、属性反查、多租户、多站点,跨站点EC、重删、WROM等高级特性。我们看到,搜索这块HCP采用比较老的开源软件Solr/Lucene,如果对象在写入的时候进行搜索,性能不好。现在很多对象厂商一般都采用Elasticsearch,性能更好。

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

HCP宣传其关键价值如上,我觉得很多其他产品也有。

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

HCP每个节点支持8-12.5亿个索引,整个系统最多支持1000亿对象,单对象最大5TB。从规格看,还是蛮强大的。HCP产品的最新规格链接如下:

https://knowledge.hitachivantara.com/Documents/Storage/Content_Platform/8.3.x/Release_Notes/01_Content_Platform_v8.3.0_Release_Notes_-_Customer#Specifications

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

HCP由于来自CAS,因此原生支持文件协议,支持POSIX语义。

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

上面是HCP的后台服务,功能还是很丰富的,特别是重删,是其他对象存储几乎看不到的。

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

HCP的多租户功能毕竟完善,Gartner认为这块HCP是业界最佳水平。

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

HCP的多站点和EMC ECS不同,其原数据的复制也是异步的。但是,其可以优先复制元数据。因此,数据不一致的时间比较短。还有,可以只复制元数据,这样数据可以不出国,合规性更好。

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

HCP的跨站点EC(GEO-EC)最多支持6个站点,但只允许一个站点故障。

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

HCP的Geo-EC支持三种延迟纠删的实现方式,用户可以根据需要选择,满足不同场景的需求。

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

HCP采用两层EC方案,虽然硬盘重构不用跨网络,但是空间的利用率不如IBM。

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

我们看到,IDC比较认可HCP,但是Gartner的认可度一般。

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

从Gartner在2019报告“Critical Capabilities for Object Storage”中的评价,我们可以看出几个HCP的特点:

1.生态不错,100个ISV,200个认证应用

2.部署困难、升级困难

3.产品更新慢,缺乏深度监控工具

4.无多站点统一管理(有统一监控),管理界面难用

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

从打分看,Gartner给HCP的管理能力打了业界最低分。用过HCP的朋友都出来说一下,是否真的很难用啊?

对象存储技术架构剖析之三:Hitachi Content Platform(HCP)

场景得分中规中矩吧,但是离IBM还是有不少距离的。

【小结】

总的来说,HCP虽然架构比较老,但历史悠久,因此功能还是比较丰富的。比较有特色的功能有

  • 重删

  • 硬盘故障节点内重构

  • 多租户

  • 跨站点EC

  • 桶异步复制

  • 分层上云等


但是,对比其它的现代对象存储架构,也有不足的地方,比如:

  • 在副本和EC的数据保护设置不灵活

  • 管理和扩容比较复杂

  • 没有同步复制功能,无法支持RPO=0的延展集群

  • 没有小文件归并功能、没有负载均衡功能

  • 没有高性能HDFS专用客户端

最后,我们还是来继续投票。微信的投票功能设计得不好,不能改投,但我懒得重新做一个投票了,就拿原来投票来用,没有投票的继续投票,已经投票的就不能再投了。


分享到:


相關文章: