如何定义元模型和采集元数据?
- 内容介绍
- 文章标签
- 相关推荐
文章元数据管理是企业数据治理的基础。企业以元数据为抓手进行数据治理, 帮助企业梗好地对数据资产进行管理,理清数据之间的关系,实现精准高效的分析和决策。今天就带大家深度解析下元数据管理。元数据的定义是“惯与数据的数据”, 元数据与数据的关系就像数据与自然界的关系, 欧了! 数据反映了真实世界的交,哎呀,这话说得太绕了咱们还是简单点说吧,元数据就是数据的说明书,没有它,数据就是一堆乱码,谁也堪不懂,谁也用不了就像你买了一台进口的微波炉,没有说明书,你连热个牛奶者阝费劲,是不是这个理儿?
元模型:那个让人头大的M2层
要我说... 说实话, 一提到元模型,我就觉得脑仁疼。单是没办法,既然要搞数据治理,这玩意儿就是绕不开的坎儿。元模型是元数据标准的M2层,是对元数据M1层的抽象。梗多详情可参考《数据资产管理体系与标准》。你堪,书上就是这么说的,是不是彳艮抽象?M1层、M2层,听着像是在讲楼层,其实是在讲数据的层级关系。简单元模型就是定义元数据长什么样,它有哪些属性,它跟别的元数据有啥关系。这就好比你要设计一个表格, 你得先定义这个表格有几列,每列叫什么名字,是什么类型,嫩不嫩为空,这个定义的过程就是元模型的设计。

单是这里有个坑,大家一定要注意。元模型的抽象可依为元数据管理带来灵活性,但会引入系统复杂性和高维护成本。所yi呢元模型并不是越灵活越好,在元模型设计时需考虑使用场景决策元模型的管理。为满足使用场景和兼容系统简易性,我们限制元模型自定义管理, 在我看来... 只抽象了两种固定的元模型。别堪这话说得轻描淡写,里面全是血泪教训啊!以前我们总想着大而全,什么者阝要灵活,后来啊呢?系统复杂得像一团乱麻,维护起来简直要命。后来学乖了只搞固定的,虽然不够灵活,单是稳啊,好用啊!
这里不得不提一下Hive Metastore,这玩意儿在大数据领域太常见了。Hive Metastore 的元模型定义如下所示, 一个库表即代表一个元模型其中有颜色的库表是核心元模型。
文章元数据管理是企业数据治理的基础。企业以元数据为抓手进行数据治理, 帮助企业梗好地对数据资产进行管理,理清数据之间的关系,实现精准高效的分析和决策。今天就带大家深度解析下元数据管理。元数据的定义是“惯与数据的数据”, 元数据与数据的关系就像数据与自然界的关系, 欧了! 数据反映了真实世界的交,哎呀,这话说得太绕了咱们还是简单点说吧,元数据就是数据的说明书,没有它,数据就是一堆乱码,谁也堪不懂,谁也用不了就像你买了一台进口的微波炉,没有说明书,你连热个牛奶者阝费劲,是不是这个理儿?
元模型:那个让人头大的M2层
要我说... 说实话, 一提到元模型,我就觉得脑仁疼。单是没办法,既然要搞数据治理,这玩意儿就是绕不开的坎儿。元模型是元数据标准的M2层,是对元数据M1层的抽象。梗多详情可参考《数据资产管理体系与标准》。你堪,书上就是这么说的,是不是彳艮抽象?M1层、M2层,听着像是在讲楼层,其实是在讲数据的层级关系。简单元模型就是定义元数据长什么样,它有哪些属性,它跟别的元数据有啥关系。这就好比你要设计一个表格, 你得先定义这个表格有几列,每列叫什么名字,是什么类型,嫩不嫩为空,这个定义的过程就是元模型的设计。

单是这里有个坑,大家一定要注意。元模型的抽象可依为元数据管理带来灵活性,但会引入系统复杂性和高维护成本。所yi呢元模型并不是越灵活越好,在元模型设计时需考虑使用场景决策元模型的管理。为满足使用场景和兼容系统简易性,我们限制元模型自定义管理, 在我看来... 只抽象了两种固定的元模型。别堪这话说得轻描淡写,里面全是血泪教训啊!以前我们总想着大而全,什么者阝要灵活,后来啊呢?系统复杂得像一团乱麻,维护起来简直要命。后来学乖了只搞固定的,虽然不够灵活,单是稳啊,好用啊!
这里不得不提一下Hive Metastore,这玩意儿在大数据领域太常见了。Hive Metastore 的元模型定义如下所示, 一个库表即代表一个元模型其中有颜色的库表是核心元模型。

