【华为数据之道学习笔记】8-1 基于PDCA的数据质量管理框架

        企业数据来源于多个不同的业务系统,数据流转、处理环节多,用“Garbage in Garbage out(垃圾进,垃圾出)”原则保证数据质量已成为数字化转型企业的共识。企业数据质量管理是一个系统性的工程,华为数据质量从数据质量领导力、数据质量持续改进、数据质量能力保障三方面展开,有机结合形成联动。

什么是数据质量

        ISO9000标准对质量的定义为“产品固有特性满足要求的程度”,其中“要求”指“明示的、隐含的或必须履行的需求或期望”,强调“以顾客为关注焦点”。
        在Won Kim的论文“A Taxonomy of Dirty Data”中,数据质量被定义为“适合使用”,即数据适合使用的程度、满足特定用户期望的程度。
        数据质量不是追求100%,而是从数据使用者的角度定义,满足业务、用户需要的数据即为“好”数据。
        华为数据质量指“数据满足应用的可信程度”,从以下六个维度对数据质量进行描述。
        1)完整性:指数据在创建、传递过程中录完整和字段值完整四个方面。完整性是数据质量最基础的一项,例如员工工号不可为空。
        2)及时性:指及时记录和传递相关数据,满足业务对信息获取的时间要求。数据交付要及时,抽取要及时,展现要及时。数据交付时间过长可能导致分析结论失去参考意义。
        3)准确性:指真实、准确地记录原始数据,无虚假数据及信息。数据要准确反映其所建模的“真实世界”实体。例如员工的身份信息必须与身份证件上的信息保持一致。
        4)一致性:指遵循统一的数据标准记录和传递数据和信息,主要体现在数据记录是否规范、数据是否符合逻辑。例如同一工号对应的不同系统中的员工姓名需一致。
        5)唯一性:指同一数据只能有唯一的标识符。体现在一个数据集中,一个实体只出现一次,并且每个唯一实体有一个键值且该键值 只指向该实体。例如员工有且仅有一个有效工号。
        6)有效性:指数据的值、格式和展现形式符合数据定义和业务定义的要求。例如员工的国籍必须是国家基础数据中定义的允许值。

数据质量管理范围

        提到数据质量管理,经常有人会问:数据质量和流程质量有什么区别?
        流程质量是基于流程结果评估业务执行的好坏,数据质量更关注业务对象、业务规则、业务过程、业务结果等数据是否得到了及时记录。
        以采购验收为例,采购验收及时性属于流程质量,送达到验收所需时间满足3天的SLA即属于流程质量合格;
        而验收数据录入及时性属于数据质量,验收到录入所需时间满足1天的SLA即属于数据质量合格。

数据质量的总体框架

        华为以ISO8000质量标准体系为依据,设计了PDCA(Plan、Do、Check、Action、计划、执行、检查、处理)持续改进的数据质量管理框架,如图所示。
     图-数据质量管理框架
        数据质量管理以数据清洁为目标,以业务需求为驱动,通过PDCA的循环,提升数据质量,达到数据质量结果满意。领导力模块通过制定政策、规范来构建数据质量管理机制,构建完整的数据组织、流程和工具,起到支撑作用。
      (1)自上而下打造数据质量领导力
        数据质量政策应该有不同的层次,数据质量的管控要兼顾宏观方面的指导原则以及微观层面的具体操作要求,引导正确的业务行为,提升企业成员的数据质量意识。
    (2)全面推进数据质量持续改进机制
        提升数据质量是为了满足业务应用,业务战略变化会产生新数据,对数据应用提出更高的要求,使得数据质量管理范围、目标发生变化,因此数据质量管理是动态、持续的循环过程。
    (3)不断加强数据质量能力保障
        数据质量管理具有专业性,需要专业团队制定数据质量管理策略、流程、规范等,通过技术工具实现自动融入日常业务。通过不断提 升数据质量管理组织的管理水平、改善数据质量工具平台,使企业数据质量获得进一步提高。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/278552.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

沙特电子签证照片尺寸要求及手机自拍制作方法介绍

Hey小伙伴们,准备去沙特阿拉伯旅行的朋友们注意啦!沙特驻华大使馆对签证所需照片是有要求的,今天我要分享给大家的是关于沙特签证照片的尺寸和拍摄要求,让你的签证申请过程更加顺利哦!此外,也教大家一种在家…

php-fpm运行一段时间,内存不足

目录 一:原因分析 二:解决 三:观察系统情况 php-fpm运行一段时间,内存不足,是什么原因呢。 一:原因分析 1:首先php-fpm的配置 (1)启动的进程数 启动的进程数越多,占用内存越高; 2:其次…

利用MATLAB构建特殊通用矩阵

在MATLAB编程中,经常需要遇到一些特殊的通用矩阵,本篇主要介绍的是MATLAB中可能会用到特殊矩阵。 1、零矩阵 MATLAB使用zeros函数来创建零矩阵,所谓零矩阵就是矩阵中所有元素皆为0的矩阵。zeros函数的调用方式如下所示: &#…

archiver error. Connect internal only, until freed.

[64000][257] ORA-00257: archiver error. Connect internal only, until freed.原因 归档日志写满了、闪回日志写满了(根本原因是服务器磁盘写满了) # 切换到oracle服务 su - oracle# 使用sysdba用户登录 解决方案:(https://blog.csdn.net/qq_37635373/article/details/933282…

uniapp中uview组件库的DatetimePicker 选择器的用法

目录 基本使用 #年 月 日 #格式化 #限制最大最小值 API #Props #Events #Methods 基本使用 通过show绑定一个布尔值变量&#xff0c;用于控制组件的弹出与收起。通过mode配置选择何种日期格式。 <template><view><u-datetime-picker:show"show&qu…

给idea添加右键打开功能

添加文件夹右键程序打开 开始运行regedit 找到 HKEY_LOCAL_MACHINE\SOFTWARE\Classes\Directory\shell 1、右键shell目录新建项Idea 2、右键Idea新建command 3、选择Idea 右侧空白出新建字符串 名字为Icon 值填入idea的运行程序地址 4、选择command 默认项填入idea的运行…

写在2023岁末:敏锐地审视量子计算的当下

本周&#xff0c;《IEEE Spectrum》刊登了一篇出色的文章&#xff0c;对量子计算&#xff08;QC&#xff09;的近期前景进行了深入探讨。 文章的目的并不是要给量子计算的前景泼冷水&#xff0c;而是要说明量子计算的前景还很遥远&#xff0c;并提醒读者量子计算的用例可能很窄…

117基于matlab的短时傅里叶变换(STFT)、小波变换(WT)、同步压缩变换(SST)、瞬态提取变换(TET)进行时频分析

基于matlab的短时傅里叶变换&#xff08;STFT&#xff09;、小波变换&#xff08;WT&#xff09;、同步压缩变换&#xff08;SST&#xff09;、瞬态提取变换&#xff08;TET&#xff09;进行时频分析。程序已调通&#xff0c;可直接运行。 117时频分析短时傅里叶变换 (xiaohong…

一篇文章深入认识微服务SpringCloud和Dubbo的区别

1、SpringCloud是什么 SpringCloud, 基于SpringBoot提供了一套微服务解决方案&#xff0c;包括服务注册与发现&#xff0c;配置中心&#xff0c;全链路监控&#xff0c;服务网关&#xff0c;负载均衡&#xff0c;熔断器等组件&#xff0c;除了基于NetFlix的开源组件做高度抽象…

权威认证|智安云平台荣获公安部首批网络安全产品认证

近日&#xff0c;智安网络云综合防御平台V3.0通过公安部复杂专业的安全测试&#xff0c;荣获了网络安全产品认证证书&#xff0c;据悉&#xff0c;这是公安部颁发的首批证书。 ** 智安网络云综合防御平台 ** 智安网络云综合防御平台是一款基于微服务框架构建的综合型信创云基…

扭蛋机小程序搭建:打造互联网“流量池”

随着互联网科技的发展&#xff0c;扭蛋机小程序成为了市场发展的重要力量。 扭蛋机市从日本发展流行起来的&#xff0c;玩法就是根据设置的概率&#xff0c;让玩家体验扭蛋机的乐趣。扭蛋机中有隐藏款和稀有款&#xff0c;为了获得稀有款商品&#xff0c;玩家便会进行扭蛋&…

Linux CPU 数据 Metrics 指标解读

过去从未仔细了解过使用 top 和 htop 等命令时显式的CPU信息&#xff0c;本文我们详解解读和标注一下各个数据项的含义&#xff0c;同时和 Ganglia 显式的数据做一个映射。开始前介绍一个小知识&#xff0c;很多查看CPU的命令行工具都是 cat /proc/stat 里的数据&#xff0c;所…

鸿蒙Harmony(七)ArkUI--循环foreachList组件自定义组件

循环foreach import Prompt from system.promptclass Item {icon: Resourcename: stringprice: numberconstructor(icon: Resource, name: string, price: number) {this.icon iconthis.name namethis.price price} }Entry Component struct Index {State message: string …

如何确保云中高可用?聊聊F5分布式云DNS负载均衡

在当今以应用为中心的动态化市场中&#xff0c;企业面临着越来越大的压力&#xff0c;不仅需要提供客户所期望的信息、服务和体验&#xff0c;而且要做到快速、可靠和安全。DNS是网络基础设施的重要组成部分&#xff0c;拥有一个可用的、智能的、安全和可扩展的DNS基础设施是至…

人工智能_机器学习084_使用聚类算法_提取图片主要颜色_对图片进行聚类提取特征_对图片进行压缩---人工智能工作笔记0124

然后我们再来看之前我们说聚类是可以进行数据压缩的对吧,现在我们用聚类KMeans进行 对图片主要特征颜色提取,来压缩图片 首先看一下我们准备的一张图片 首先导包,显示一下图片 import numpy as np 导入数学计算包 import matplotlib.pyplot as plt 导入画图工具包 import …

【图像分类】【深度学习】【轻量级网络】【Pytorch版本】ShuffleNet_V2模型算法详解

【图像分类】【深度学习】【轻量级网络】【Pytorch版本】ShuffleNet_V2模型算法详解 文章目录 【图像分类】【深度学习】【轻量级网络】【Pytorch版本】ShuffleNet_V2模型算法详解前言ShuffleNet_V2讲解四条实用指导思想G1:相等的通道宽度可以降低存储访问成本G2:大量的分组卷积…

C++单例设计模式

C单例设计模式 文章目录 C单例设计模式单例设计模式介绍饿汉式单例设计模式懒汉式单例设计模式什么是可重入函数 单例设计模式介绍 单例模式指的是&#xff0c;无论怎么获取&#xff0c;永远只能得到该类类型的唯一一个实例对象&#xff0c;那么设计一个单例就必须要满足下面三…

横屏转竖屏:一键轻松转换,让视频更适应屏幕!

想象一下&#xff0c;你有一批横屏视频&#xff0c;想要将它们快速变为适应手机竖屏观看的格式&#xff0c;但又不想一个个手动处理。现在&#xff0c;有了我们的创意批量剪辑神器&#xff0c;这些烦恼全部消失&#xff01;只需简单几步&#xff0c;就能将横屏视频批量变身成为…

VScode的入门手册(IDEA迁移到VScode)

从IDEA迁移到VScode的过程中&#xff0c;会有很多不适应的地方&#xff0c;下面算是一篇VScode的入门手册&#xff0c;也可以说是从IDEA迁移到VScode的手册。 命令面板&#xff08;Command Palette&#xff09; 允许你快速访问和执行命令。 在 Visual Studio Code 中&#x…

3分钟了解Android中稳定性测试

一、什么是Monkey Monkey在英文里的含义是猴子&#xff0c;在测试行业的学名叫“猴子测试”&#xff0c;指的是没有测试经验的人甚至是根本不懂计算机的人&#xff08;就像一只猴子&#xff09;&#xff0c;不需要知道程序的任何用户交互方面的知识&#xff0c;给他一个程序&a…