完成单位：北京文思海辉金信软件有限公司
项目关键词：数据湖平台·数据视图·数据服务
项目介绍：
基于大数据的企业级数据湖平台，是构建在一个或多个Hadoop集群之上的新一代大数据处理平台。该平台支持企业海量原始数据的融合存储，并保留它们的元信息、整合图谱和元过程；支持基于连续的历史和当前数据，实现对数据的查询、挖掘、分析和复杂算法定义；支持将湖内数据系统地转换为适用于场景需求的专属数据集。最终为企业用户提供复杂数据环境下的透明访问和统一数据视图。
统一ETL平台：
应用Hadoop技术框架各组件，实现面向全行的数据集中采集、源数据存储、数据预处理（解压、转码、压缩、统一命名等）、标准化存储、数据统一加载等功能。
数据湖存储平台：
基于HBASE、HIVE、HDFS，按照不同的数据类型（结构s化/半结构化）区分存储，如：文本数据池、日志数据池、音视频数据池、结构化数据池。
数据湖管理运维系统：
包括集中调度管理、数据资源注册管理、数据安全管理、自动化部署管理、元数据管理、处理流程监控管理、数据生命周期管理等。
允许海量原始数据原样保留，方便后期数据追溯及加工利用；多数据类型广泛支持，结构/非结构数据处理；多数据时效支持，实时/非实时；自动化流程化数据处理，可通过配置数据处理流程实现不同类型的数据采集、存储；数据采集接口自适应，分析数据类型自动分配响应的采集处理程序；生成数据资源目录，提供集中式统一的数据服务； 快速的数据组合及提供能力，实现按业务需求动态组合数据资源的能力。
——来源：《2019年电子信息行业自主创新成果推广目录》
分享到:
閱讀更多 果然的ICT驛站 的文章
