业界非常流行的非结构化数据存储方案介绍

ceph

官方网站:

http://docs.ceph.org.cn/

简单介绍:

Ceph是一个开源的分布存储系统,同时提供对象存储、块存储和文件存储。linux内核2.6.34将ceph加入到内核中,红帽基于ceph出了redhat ceph storage.

  • 支持TB级存储

  • 支持高可用、容灾备份(当然了,这是存储的常见功能)

  • 支持上百节点的负载均衡

系统架构:

业界非常流行的非结构化数据存储方案介绍

OpenStack Swift

官方网站:https://docs.openstack.org/swift/latest/

简单介绍:

OpenStack的存储项目,提供了弹性可伸缩、高可用的分布式对象存储服务,适合存储大规模非结构化数据。作为一个开源的云平台,本身的存储系统制约着平台的发展,所以swift在可靠性、性能上更加优秀。

系统架构:

Swift 采用完全对称、面向资源的分布式系统架构设计,所有组件都可扩展,避免因单点失效而扩散并影响整个系统运转;通信方式采用非阻塞式 I/O 模式,提高了系统吞吐和响应能力。

业界非常流行的非结构化数据存储方案介绍

HDFS

官方网站:https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html

简单介绍:

HDFS全称是Hadoop distributed file system,是一个用java语言开发的分布式文件系统,有很好的伸缩性,支持10亿+的文件,上百PB数据,上千节点的集群。HDFS设计目标是==支持海量数据的批量计算==,而不是直接与用户做交互式操作。

HDFS有很多特点:

  • 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。

  • 运行在廉价的机器上。

  • 适合大数据的处理。多大?多小?HDFS默认会将文件分割成block,64M为1个block。然后将block按键值对存储在HDFS上,并将键值对的映射存到内存中。如果小文件太多,那内存的负担会很重。

业界非常流行的非结构化数据存储方案介绍

GlusterFS

官方网站:https://www.gluster.org/

业界非常流行的非结构化数据存储方案介绍

简单介绍:

GlusterFS是一个开源的分布式文件系统,可支持PB级数据量和几千个客户端,没有元数据服务器。红帽2011年花1.36亿$购买了GlusterFS,基于GlusterFS发布了一个商业存储系统。

外部架构:

业界非常流行的非结构化数据存储方案介绍

内部架构:

业界非常流行的非结构化数据存储方案介绍

minio

官方网站:https://www.minio.io/

minio是用go语言开发的一个分布式对象存储系统,提供与Amazon S3兼容的API。它与其它分布式存储系统的特色在 于简单、轻量级,对开发者友好,认为存储应该是一个开发问题而不是一个运维问题。minio不但支持界面操作,还支持java、python等接口操作文件。

业界非常流行的非结构化数据存储方案介绍

minio登录界面

数据对比

<table><tbody>特性cephminioswifthbase/hdfs开发语言
Cgopythonjava数据冗余副本,纠删码Reed-Solomon code副本副本一致性强一致性强一致最终一致最终一致动态扩展HASH不支持动态加节点一致性hash?
中心节点对象存储无中心,cephFS有元数据服务中心点无中心无中心nameNode单点存储方式块、文件、对象对象存储(分块)块存储块存储活跃度高,中文社区不算活跃高,没有中文社区高高成熟度高中
高高操作系统linux-3.10.0+linux,windows?任何支持java的OS文件系统EXT4,XFSEXT4,XFS??客户端c、python,S3java,s3java,RESTfuljava,RESTful断点续传兼容S3,分段上传,断点下载
兼容S3,分段上传,断点下载不支持不支持学习成本高中?中前景10899开源协议LGPL version 2.1Apache v2.0Apache V2.0?管理工具ceph-admin,ceph-mgr,zabbix插件,web管理工具


分享到:


相關文章: