离线数仓-数据治理

一、前言

1.1 数据治理概念

1.2 数据治理目标

1.3 数据治理要解决的问题

1.3.1 合规性

元数据合规性

数据质量合规性

数据安全合规性

1.3.2 成本

存储资源成本

计算资源成本

二、数据仓库发展阶段

2.1 初始期

2.2 扩张期

2.3 缓慢发展期

2.4 变革期

三、数据治理内容

3.1 元数据治理

3.2 数据质量治理

3.3 数据安全治理

3.4 计算资源治理

3.5 存储资源治理

四、数据治理总结

4.1 模型合规治理

4.2 数据质量合规治理

4.3 数据安全合规治理

4.4 存储资源治理

4.5 计算资源治理

4.6 数据价值治理

五、数据治理如何推动

六、思考与沉淀

一、前言

1.1 数据治理概念

数据治理包含了数据生命周期（从获取、使用到处置）内对其进行管理的所有原则性方法。涵盖确保数据安全、私有、准确、可用和易用所执行的所有操作，包括必须采取的行动、必须遵循的流程以及在整个数据生命周期中为其提供支持的技术。通常是在是数仓发展的中后期开展数据治理活动。

1.2 数据治理目标

数据模型合规，数仓内部及下游易用且有保障，提升开发及使用效率，发挥数据价值，降本增效。最大化数据使用的ROI（投资回报率）

1.3 数据治理要解决的问题

1.3.1 合规性

元数据合规性

各模型、表，子字段等未按照数据标准规范制作

数据质量合规性

数据质量问题发生频繁，缺少链路保障

数据安全合规性

模型、表/字段未做权限管控，被下游随意引用

1.3.2 成本

存储资源成本

无用数据模型较多，某些表存在不必要存储周期

计算资源成本

存在无效任务，数据倾斜任务，高读写任务（运行时间长）

数据治理的实施可以借助云平台，例某商业版的数据治理工作台的功能如下截图：

’

二、数据仓库发展阶段

2.1 初始期

业务特点：单一、少量的业务模式探索
数据诉求：支持统一数仓内部规范，通过核心数据模型支撑下游应用（数据分析、运营、风控、产品、算法）

2.2 扩张期

业务特点：快速扩张
数据诉求：大量的复合指标，派生指标需要在BI看板、算法等多个场景重复使用。该阶段重点投入数据应用建设、支撑数仓内部和业务方更快定位指标、数据模型、用户数据等，实现自助查询。

2.3 缓慢发展期

业务特点：稳增长
数据诉求：对原有数据仓库进行治理优化，包括数据质量全链路保障、元数据管理、数据安全等基建的建设，还包括指标体系建设（指标定义、指标口径、指标地图）、计算/存储资源治理等内容。（该阶段可以进行集中化数据治理）

2.4 变革期

业务特点：发现新的机会，精细化运营
数据诉求：快速支持业务创新

三、数据治理内容

3.1 元数据治理

这里的元数据治理主要介绍数据表合规治理，文章指路：

数仓治理-数据表合规治理-CSDN博客文章浏览阅读808次，点赞19次，收藏22次。数仓治理-数据表合规治理https://blog.csdn.net/SHWAITME/article/details/135749389?spm=1001.2014.3001.5502

3.2 数据质量治理

数据质量治理文章指路：

数仓治理-数据质量治理-CSDN博客文章浏览阅读936次，点赞27次，收藏29次。数仓数据治理-数据质量治理https://blog.csdn.net/SHWAITME/article/details/135737631?spm=1001.2014.3001.5501

数据质量文章指路：

数仓-数据质量-CSDN博客文章浏览阅读1k次，点赞19次，收藏15次。数仓-数据质量https://blog.csdn.net/SHWAITME/article/details/135732154?spm=1001.2014.3001.5501

3.3 数据安全治理

数据安全治理文章指路：

数仓治理-数据安全治理-CSDN博客文章浏览阅读343次，点赞9次，收藏7次。数仓治理-数据安全治理https://blog.csdn.net/SHWAITME/article/details/135832433?spm=1001.2014.3001.5502 数据安全文章指路：

数仓-数据安全-CSDN博客文章浏览阅读758次，点赞24次，收藏15次。数仓-数据安全https://blog.csdn.net/SHWAITME/article/details/135830159?spm=1001.2014.3001.5502 上述的元数据治理、数质量治理、数据安全治理属于合规治理的范畴。

3.4 计算资源治理

计算资源治理见文章：

数仓治理-计算资源治理-CSDN博客文章浏览阅读1.1k次，点赞34次，收藏18次。数仓治理-计算资源治理https://blog.csdn.net/SHWAITME/article/details/135760673?spm=1001.2014.3001.5501

3.5 存储资源治理

存储资源治理见文章：

数仓治理-存储资源治理-CSDN博客文章浏览阅读64次，点赞3次，收藏3次。数仓治理-存储资源治理https://blog.csdn.net/SHWAITME/article/details/136000702?spm=1001.2014.3001.5502

四、数据治理总结

4.1 模型合规治理

数据标准重制定：包括对原来数据域重构，表字段命名体系重构，按照新标准对原来的模型进行合规改造；
元数据信息补充：包括添加元数据owner，对元数据的使用说明，颗粒度声明，主键声明以及字段中文名具体内容等进行完善，便于数仓内部或下游使用；
制度建设：完善模型评审机制，代码提交强审核，保障内容合规后上线；
分层合理性：治理不规范的模型分层引用，例如ADS层表依赖了非DWS层的表等；
数据链合理性：重构因快速支撑业务而产生的烟囱模型，消除链条冗长，数据产出耗时长等问题；

4.2 数据质量合规治理

流程化：包括制定任务上线/变更流程，指标变更流程等；
dqc管控：对4大基础dqc进行补充，对核心业务模型dqc补充，对经常触发的dqc进行调整（例如：表行数波动等，可借助算法对近7天的dqc波动率进行监测，动态评估阈值；
sla及基线治理：上线前把控，保障基线正常运行，核心任务优先产出且分配高资源，培训及整理值班运维手册，建设容灾备份的快恢能力;
针对上游问题的数据治理（数据源出现问题）：建设数据质量的长期监测体系;