Mongodb之元数据提取

前期准备

1、元数据理解

元数据是描述信息资源或数据等对象的数据,其使用目的在于:识别资源;评价资源;追踪资源在使用过程中的变化;实现简单高效地管理大量网络化数据;实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。最简单的定义是“描述数据的数据”(data about data)。说得再通俗一点,比如ORACLE描述表、字段之类的数据。

2、BI Connector 工具

https://docs.mongodb.com/bi-connector/master/local-quickstart/

思路

本地安装 Mongodb,再安装BI工具,生成DRDL文件,再通过解析DRDL文件即可获取集合、字段信息。

实践

1、window 借用BI生成DRDL文件命令

D:\database\mongodb\mongodb-bi\bin\ .\mongodrdl -d test -u ming -o schema.drdl 执行test数据库下生成文件,ming为用户名,记得赋读取权限

2、解析DRDL文件

a、生成的DRDL文件内容是YAML(在springcloud一些配置文件有出现,不懂去百度吧)格式,内容如下:

Mongodb之元数据提取

实际上BI工具是将MONGODB转成MYSQL之类的关系型数据库,所以有TABLE、COLUMN、SQLTYPE字眼出现。

b、代码解析过程:

Mongodb之元数据提取

Mongodb之元数据提取

Mongodb之元数据提取

Mongodb之元数据提取

价值

这东西仁者见仁智者见智,在大型公司比如:华为、银行等公司解决“有哪些数据”、“数据存储有多少”、“数据流中的血缘关系”、“如何找到我需要的数据”、“如何使用数据”和“数据的生产进度”,并对上游线上业务库的同步进度和元信息变更进行监控,及时进行影响分析及预警。技多不压身,懂点混口饭吃还是可以的!!!

注:欢迎转发、收藏,严禁COPY至其他平台发布,请尊重原创!!!!


分享到:


相關文章: