如何巧妙设置数据仓库分层生命周期,使其更高效?
- 内容介绍
- 文章标签
- 相关推荐
哎呀,数据仓库这玩意儿,真的是让人又爱又恨,你说是不是?特别是那个什么生命周期管理,听着挺高大上的,其实就是个“垃圾回收”的活儿嘛!但是吧,这活儿你要是干不好,老板那个脸色,啧啧啧,比锅底还黑。 礼貌吗? 咱们今天就来聊聊这个让人头秃的问题, 怎么把那个分层生命周期搞得巧妙一点,别到时候钱没了数据也没了那就真的尴尬了。真的是每次看到账单我都想哭,这哪里是存数据,简直是在存金条啊!
一、这该死的分层,到底是个啥?
说实话, 我刚开始搞这行的时候,看到那些ODS、DWD、DWS的缩写,我整个人都是懵的。这都什么跟什么啊?不就是存个数据吗?非要搞出这么多花里胡哨的层级来。但是吧,后来被现实毒打多了才发现这帮老古董还是有点道理的。你想啊,数据就像流水,你直接把泥沙俱下的河水倒进杯子里给人喝,那人不得拉肚子?所以得过滤,得沉淀,摆烂。。

但是!问题来了每一层都要存多久?这真的是个玄学。存久了云厂商那个账单噌噌往上涨,老板看了想杀人;存短了业务方跑过来问你:“哎?三个月前那个数据怎么没了?”你敢说删了?你敢吗?你不敢,你只能卑微地去日志里捞,或者更惨,从备份里恢复,那个过程,简直了生不如死,说真的...。
1.1 ODS层:那个脏乱差的垃圾场
ODS层, 也就是操作数据层,这地方简直就是数据界的贫民窟。啥都往里塞,也不管干不干净,结构乱不乱。我就见过有的系统,连图片都往里面存,真的是服了。对于这一层,我的建议是别太留恋。它就是个过客。但是吧,有时候为了追溯问题,你又不得不留。这就很纠结了。通常如果你有专门的归档存储,那就赶紧扔过去,别占着昂贵的热存储不放。这就像你家里的垃圾桶,你不会把用过的纸巾一直放在茶几上吧?肯定得扔出去啊,纯属忽悠。!
1.2 DWD层:稍微像个人样了
到了DWD层, 明细数据层,这数据算是洗过澡了换上干净衣服了。这一层的数据量通常也是最大的,主要原因是它最细。你要是这里面的数据生命周期设错了那真的是灾难。
哎呀,数据仓库这玩意儿,真的是让人又爱又恨,你说是不是?特别是那个什么生命周期管理,听着挺高大上的,其实就是个“垃圾回收”的活儿嘛!但是吧,这活儿你要是干不好,老板那个脸色,啧啧啧,比锅底还黑。 礼貌吗? 咱们今天就来聊聊这个让人头秃的问题, 怎么把那个分层生命周期搞得巧妙一点,别到时候钱没了数据也没了那就真的尴尬了。真的是每次看到账单我都想哭,这哪里是存数据,简直是在存金条啊!
一、这该死的分层,到底是个啥?
说实话, 我刚开始搞这行的时候,看到那些ODS、DWD、DWS的缩写,我整个人都是懵的。这都什么跟什么啊?不就是存个数据吗?非要搞出这么多花里胡哨的层级来。但是吧,后来被现实毒打多了才发现这帮老古董还是有点道理的。你想啊,数据就像流水,你直接把泥沙俱下的河水倒进杯子里给人喝,那人不得拉肚子?所以得过滤,得沉淀,摆烂。。

但是!问题来了每一层都要存多久?这真的是个玄学。存久了云厂商那个账单噌噌往上涨,老板看了想杀人;存短了业务方跑过来问你:“哎?三个月前那个数据怎么没了?”你敢说删了?你敢吗?你不敢,你只能卑微地去日志里捞,或者更惨,从备份里恢复,那个过程,简直了生不如死,说真的...。
1.1 ODS层:那个脏乱差的垃圾场
ODS层, 也就是操作数据层,这地方简直就是数据界的贫民窟。啥都往里塞,也不管干不干净,结构乱不乱。我就见过有的系统,连图片都往里面存,真的是服了。对于这一层,我的建议是别太留恋。它就是个过客。但是吧,有时候为了追溯问题,你又不得不留。这就很纠结了。通常如果你有专门的归档存储,那就赶紧扔过去,别占着昂贵的热存储不放。这就像你家里的垃圾桶,你不会把用过的纸巾一直放在茶几上吧?肯定得扔出去啊,纯属忽悠。!
1.2 DWD层:稍微像个人样了
到了DWD层, 明细数据层,这数据算是洗过澡了换上干净衣服了。这一层的数据量通常也是最大的,主要原因是它最细。你要是这里面的数据生命周期设错了那真的是灾难。

