Cloudera如何将Hadoop提升到一个新水平?

Hadoop是世界上第一个大数据统一开源平台,而Cloudera今天是由Apache Hadoop™支持的企业分析大数据管理平台。实际上,Cloudera和Hadoop是相辅相成的。

Cloudera和Hadoop共同为企业提供了一个单一的数据管理和数据分析场所。您可以评估数据并根据其进行投资。Cloudera为企业提供了完整的数据平台(CDH)以及开源Hadoop生态系统。因此,今天的Cloudera已成为世界上最受信任和使用的企业Hadoop数据中心。

从企业应用程序到教育,Cloudera将Hadoop提升到一个新的水平。在此博客中,我们将讨论Cloudera和Hadoop相互关联的那些核心领域。

CDH –最受信任的Hadoop数据处理平台

Cloudera和Hadoop的重要性始于CDH。它是Cloudera流行的Hadoop发行版。而且,它是市场上最常用的Hadoop发行版,并且可靠。

CDH为用户提供

  • Hadoop的所有核心要素
  • 可扩展的存储和分布式计算
  • 具有必要企业功能的基于Web的用户界面
  • 帮助统一批处理
  • 带有交互式搜索的交互式SQL
  • 基于角色的访问控制

Cloudera在Hadoop改进领域上工作

Hadoop成为强大的大数据平台。但是,由于其不成熟的工具和基础架构,Hadoop抑制了其强大功能。在将Hadoop引入主流IT应用程序之前,企业用户已经关注了Hadoop的一些核心重点领域。

这些主要是

  • 数据安全
  • 稽核
  • 访问控制
  • 作业失败的用户通知系统
  • 具有所需升级的软件更新,以及更多。

Cloudera如何扩展适用于Hadoop的新企业标准?

Cloudera为Hadoop设置了新的企业标准。它在Hadoop领域的不断发展为用户提供了坚如磐石的生产友好型企业集成解决方案。因此,它有助于满足他们对业务数据高端价值的要求。

借助其新推出的产品(例如Cloudera Navigator,Cloudera Enterprise ,Cloudera Manager 和Sentry Cloudera),它解决了Hadoop的所有改进领域。Cloudera将Hadoop推向成熟和完整的商业用途。此外,作为大数据平台,它有助于满足对集中式数据管理的遵从性。

Cloudera Enterprise 将Hadoop转变为下一代大数据平台

企业数据中心是一个小时的需求。结果,他们需要在其现有架构上存储和处理所有数据。企业数据中心可实现–

  • 灵活运行各种企业工作负载。它可能包括批处理,SQL查询,企业高级分析
  • 与现有系统集成
  • 强大的安全性
  • 管治
  • 数据保护,以及
  • 数据管理

Cloudera通过其在Cloudera Enterprise 5中的创新弥合了这些差距。这是一个功能强大的应用程序,可以处理各种业务问题。数据量每天都在大量增加。因此,Cloudera Enterprise 5使用户能够以最佳效率管理这些工作负载。

Cloudera Enterprise 为数据处理带来了Hadoop的显着变化

Cloudera和Hadoop通过以下方式共同提高数据处理速度–

  • 内存中HDFS缓存:借助Cloudera Enterprise,Hadoop会将数据集从HDFS缓存到内存中。因此,它对MapReduce数据处理性能产生了重大变化,而这通常很慢。
  • 资源管理: Cloudera Enterprise 5使YARN(另一个资源协商器)和Cloudera Manager能够通过单个集群提供高级资源管理。使用它,企业现在可以一次运行多个框架来进行数据处理和分析。

此外,它还帮助管理员按工作负载和工作组分配资源。因此,它确保了资源性能和利用率的最佳组合。

  • 管理和探索大数据。 Cloudera Enterprise 支持对Hadoop进行集中式数据审核。此外,其Cloudera Navigator现在还提供数据管理和浏览。
  • 高效的数据发现: Cloudera和Hadoop使数据分析人员和数据建模人员能够搜索,探索,定义和标记数据集。因此,他们可以识别相关信息以进行下游处理或分析。
  • 数据沿袭:
    Cloudera Navigator是业界第一个Hadoop数据沿袭解决方案。它使客户能够找到关联的数据集。而且,它有助于满足数据监管和保留策略的数据法规要求。
  • 数据保护: Cloudera Enterprise 支持HDFS和HBase对数据进行快照,以防止数据丢失。

Cloudera为Hadoop设置了关键任务标准

Hadoop管理工具已经随着时间而发展。最初,它缺乏必要的集成和控制功能。因此,将其集成到现有的企业数据基础架构中是一个问题。但是,Hadoop与可用资源的共存提供了真正全面的大数据管理。

这些资源包括

  • 所有现有系统
  • 平台
  • 应用领域
  • 流程

因此,客户面临着在关键任务项目中使用数据集并从中获取见解的问题。

但是,越来越多地采用Cloudera和Hadoop作为集成的数据存储库来处理结构化和非结构化数据。此外,可能是高度敏感的数据,需要保持严格的合规性。

Cloudera介绍了其最近的进步,以使Hadoop成为完整的大数据平台。Cloudera提供遵循数据合规性和标准策略的数据管理功能。这样,Cloudera和Hadoop有助于执行关键任务应用程序。

Cloudera Manager –端到端管理应用程序

Cloudera Manager 提供了设计和简化Hadoop端到端管理的功能。这些主要更新使客户能够:

  • 执行平台升级
  • 使用交互式图表平滑可视化关键指标
  • 异构集群管理
  • 通过SNMP与现有企业IT管理工具更好地集成

Cloudera Navigator数据管理层的新概念

现有的基于Hadoop的系统在可见性和数据控制方面面临空白。这是任何数据管理的组成部分。因此,为了满足企业需求,Cloudera引入了Cloudera Navigator,用于Hadoop集群中的端到端数据管理。它是Cloudera Manager的主要功能的补充。

它有助于

  • 提供所需的管理功能。
  • 为了保护,探索和管理Hadoop系统中的大量不同数据集。
  • 实现敏感和高度安全的大数据集的优势。
  • 管理员的审核功能,使他们可以索引和存储来自HDFS,Hive和HBase的数据访问的完整日志。
  • 它解决了与金融交易服务,政府,医疗保健和其他部门有关的数据安全问题。

您的工作安全吗?

Hadoop最受欢迎的目标是其存储数据的能力。它可以以比逻辑数据库管理软件低得多的价格存储日期。因此,它可以帮助公司使用其所有数据做出更好的决策。

但是,Hadoop的文件系统安全级别不高。此外,它缺乏正确的支持来确保用户和应用程序访问的安全数据。现在,这个问题迫使企业强调不同行业的安全性。

更不用说,安全是必不可少的需求(例如政府,金融服务和医疗保健)。您可以完全阻止用户使用,也可以让数据不受保护。通常,最好的选择是第一,这阻碍了Hadoop的数据访问。

Sentry – Cloudera的Hadoop数据安全性新计划

Cloudera并没有停止改善Hadoop的数据安全性,而是推出了Sentry。它是一种新的开源授权技术,可以解决这些问题。Sentry提供基于角色的授权。需要为正确的用户和正确的应用程序提供特定级别的访问权限。除基于角色的批准外,它还支持多租户管理,从而使Hadoop操作员能够:

  • 存储更多数据
  • 授予最终用户访问该数据的权限
  • 创建新的用例
  • 启用多用户应用

基于以上内容,我们打算渗入Sentry,以在整个Hadoop生态系统中最大化其用途。


分享到:


相關文章: