脚本宝典收集整理的这篇文章主要介绍了【实时数仓】Day03-DWM 层业务,脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
一、DWS层与DWM层的设计
1、设计思路
分流到了DWD层,并将数据分别出传入指定的topic
规划需要实时计算的指标,形成主题宽表,作为DWS层
2、需求梳理
DWM 层主要服务 DWS,因为部分需求从 DWD 层到DWS 层中间会有一定的计算量,这部分计算的结果很有可能被多个 DWS 层主题复用,所以部分 DWD层后面会形成一层 DWM
主要的DWM层业务包括:访客UV(独立访客、日活用户)计算、跳出明细计算、订单宽表、支付宽表
二、DWM层-访客UV计算
1、需求分析
三、DWM 层-跳出明细计算
四、DWM 层-订单宽表
五、DWM 层-支付宽表
六、总结
1、DWD层的任务
把一种明细转换为另一种明细,以应对后续的统计
2、应当掌握
利用状态(state)进行去重操作-(访客UV计算)
利用CEP对一组数据进行筛选判断(跳出行为计算)
使用 intervalJoin 处理流 join
维度关联处理,并通过缓存和异步查询对性能进行优化
以上是脚本宝典为你收集整理的【实时数仓】Day03-DWM 层业务全部内容,希望文章能够帮你解决【实时数仓】Day03-DWM 层业务所遇到的问题。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。