1、从数据源中导入源数据,到ODS表,作为事实表的数据
2、可以根据自己的开发设计,是否单独分支出来一个维度表,帮助和协助处理源数据表ODS层
和需求层ADS(APP)层
3、现在我们有了一个事实ODS层,和一张维度DIM层
4、根据需求我们可以开始数仓建模,通过维度建模
星座模型去通过多个维度表,来关联一张事实表,减少数据的冗余
5、DIM维度介绍
通过这些维度,来进行操作,维度好像大树的树枝可以帮助处理过滤数据
可以在维度表中,先筛选出一些数据,对数据进行清洗转化,例如:可以拉宽大表,替换字段等等
6、通过某些指标我们可以确定ADS层的表
例如:门店商品销售天表,城市商品销售天表,门店第一分类商品分析天表,门店第二分类商品分析天表,门店第三分类商品分析天表
7、在这些简短的需求中,我们可以确定,利用时间维度,可以拥有一天的时刻,向下划分为时刻1quarter=15分钟,可以更精准的帮助我们获取数据,这就为我们在以后数仓开发准备条件
8、从ODS层我们可以获知有关于门店的销售明细,详情,线上支付,商城支付,商城订单,商城退款,商城退款明细,商城退换货————————这些都是有关于销售有关的数据表
再比如:关于订单的表,我们可以分为订单的进货(要货)表,调入,调出,收货,退货,退配,相关的信息
9、通过以上总结这些可以,很快的得知,我们在数仓开发中,DW层,可以分为几层
DWD 事实表和维度表关联,同时对数据进行过滤
DWM 将相关联的数据表合并 ,轻度聚合
DWS 将相同主题下的表数据统一关联在一起
可以很快的匹配需求
10、DW第一层我们就可以把,ODS层里面的销售,订单表,都汇总到第一层来,有一张所有商品订单的大表,从线上支付,商城支付就可以分成,线上和线下支付,从退款,换货,我们可以把他理解成为一个词叫核销,是否订单交易成功,支付金额,在订单表中,也可以从退换货分成库调表,退是返回库中,换是从库中拿取物品
11、每一步的细化,在第二层中,各种核销表又可以汇总到商品的损耗中来,从而多到一中去,把时间维度从天变成刻,数据精细化,却不冗余
12、最后一层数仓,把所有的订单汇总到,已经核销的商品详细信息中来,而支付层面就汇总到支付层面的已核销表中。