【实时数仓】Day03-DWM 层业务

发布时间:2022-06-26 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了【实时数仓】Day03-DWM 层业务脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。

一、DWS层与DWM层的设计

1、设计思路

分流到了DWD层,并将数据分别出传入指定的topic

【实时数仓】Day03-DWM 层业务

 

 

 规划需要实时计算的指标,形成主题宽表,作为DWS层

2、需求梳理

【实时数仓】Day03-DWM 层业务

 

 

 

【实时数仓】Day03-DWM 层业务

 

 

DWM 层主要服务 DWS,因为部分需求从 DWD 层到DWS 层中间会有一定的计算量,这部分计算的结果很有可能被多个 DWS 层主题复用,所以部分 DWD层后面会形成一层 DWM

主要的DWM层业务包括:访客UV(独立访客、日活用户)计算、跳出明细计算、订单宽表、支付宽表

二、DWM层-访客UV计算

1、需求分析

三、DWM 层-跳出明细计算

四、DWM 层-订单宽表

五、DWM 层-支付宽表

六、总结

1、DWD层的任务

把一种明细转换为另一种明细,以应对后续的统计

2、应当掌握

利用状态(state)进行去重操作-(访客UV计算)

利用CEP对一组数据进行筛选判断(跳出行为计算)

使用 intervalJoin 处理流 join

维度关联处理,并通过缓存和异步查询对性能进行优化

脚本宝典总结

以上是脚本宝典为你收集整理的【实时数仓】Day03-DWM 层业务全部内容,希望文章能够帮你解决【实时数仓】Day03-DWM 层业务所遇到的问题。

如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。
标签: