第3章数据治理

思维导图

数据治理的定义：是在管理数据资产过程中行使权力和管控，包括计划、监控、和实施。

职能：指导所有其他数据管理领域的活动。
目的：确保根据数据管理制度和最佳实践正确地管理数据。
整体驱动力：确保组织可以从其数据中获得价值，数据治理聚焦于如何制定有关数据的决策，以及人员和流程在数据方面的行为方式。
数据治理项目的范围和焦点依赖于组织需求
数据治理要与IT治理分开；数据治理只聚焦于管理数据资产和作为资产的数据。

3.1 引言

3.1.1 业务驱动因素

数据治理不是一次性的行为。治理数据是一个持续性的项目集，以保证组织一直聚焦于能够从数据获得价值和降低有关数据的风险。可以由一个虚拟组织或者有特定职责的实体组织承担数据治理的责任。

数据治理要与IT治理区分开。IT治理的作用是确保IT战略、投资与企业目标、战略的一致性。相反，数据治理仅聚焦于管理数据资产和作为资产的数据。

业务驱动因素

聚焦于减少风险和改进流程。
最常见的驱动因素：法规遵从性，特别是重点监控行业。
高级分析师、数据科学家的迅猛发展也成为新增驱动力
通过其他业务信息化管理需求所驱动
数据治理并不是到此为止，而是需要直接与企业战略保持一致。

（1）减少风险

一般性风险管理。 洞察风险数据对财务或商誉造成的影响，包括对法律（电子举证E-Discovery）和监管问题的响应。
数据安全。通过控制活动保护数据资产，包括可获得性、可用性、完整性、连续性、可审计和数据安全。
隐私。通过制度和合规性监控，控制私人信息、机密信息、个人身份信息（PII）等。

（2）改进流程

法规遵从性。有效和持续地响应监管要求的能力。
数据质量提升。通过真实可信的数据提升业务绩效的能力。
元数据管理。建立业务术语表，用于定义和定位组织中的数据；确保组织中数量繁多的元数据被管理和应用。
项目开发效率。在系统生命周期（SDLC）中改进，以解决整个组织的数据管理问题，包括利用数据全周期治理来管理特定数据的技术债。
供应商管理。控制数据处理的合同，包括云存储、外部数据采购、数据产品销售和外包数据运维

3.1.2 目标和原则

目标

可持续发展（Sustainable）治理程序必须富有吸引力。它不是以一个项目作为终点，而是一个持续的过程。需要把它作为整个组织的责任。数据治理必须改变数据的应用和管理方式，但也不代表着组织要作巨大的更新和颠覆。数据治理是超越一次性数据治理组件实施可持续发展路径的管理变革。可持续的数据治理依靠于业务领导、发起者和所有者的支持。
嵌入式（Embedded）数据治理不是一个附加管理流程。数据治理活动需要融合软件开发方法、数据分析应用、主数据管理和风险管理。
可度量（Measured）数据治理做得好有积极的财务影响，但要证明这一影响，就需要了解起始过程并计划可度量的改进方案。

原则

领导力和战略（Leadership and Strategy）成功的数据治理始于远见卓识和坚定的领导。数据战略指导数据管理活动，同时由企业业务战略所驱动。
业务驱动（Business-driven）数据治理是一项业务管理计划，因此必须管理与数据相关的IT决策，就像管理与数据有关的业务活动一样。
共担责任（Shared Responsibility）在所有数据管理的知识领域中，业务数据管理专员和数据管理专业人员共担责任。
多层面（Multi-layered）数据治理活动发生在企业层面和各地基层，但通常发生在中间各层面。
基于框架（Framework-based）由于治理活动需进行跨组织职能的协调，因此对数据治理项目必须建立一个运营框架来定义各自职责和工作内容。
原则导向（Principle-based）指导原则是数据治理活动、特别是数据治理策略的基础。通常情况下，组织制定制度时没有正式的原则，他们只是在试图解决特定的问题。有时原则可以从具体策略通过逆向工程反推得到。然而最好把核心原则的阐述和最佳实践作为策略的一部分工作。参考这些原则可以减少潜在的阻力。随着时间的推移，在组织中会出现更多的指导原则与相关的数据治理组件共同对内部发布。

3.1.3 基本概念

数据治理确保数据被恰当地管理，而不是直接管理数据。数据治理相当于将监督和执行的职责分离。
数据管理：管理数据以达到既定目的。
数据治理属于总体视觉，数据管理属于执行层面。

1、以数据为中心的组织

以数据为中心的组织将数据作为资产估值，在生命周期所有阶段进行管理，包括项目开发和持续运营阶段。为达到以数据为中心，组织必须改变将战略转化为行动的方式。数据不再被作为是流程和业务产品的附属。业务处理的目标就是为了得到高质量的数据。有效数据管理成为企业致力于通过分析获得洞察、制定决策时的高优先级事项。

数据应该作为企业资产管理起来。
应该在整个组织内鼓励数据管理的最佳实践。
企业数据战略必须与业务战略一致。
应不断改进数据管理流程。

2、数据治理组织

治理项目的核心词是治理。数据治理可以从政治治理的角度来理解。它包括：

立法职能(定义策略、标准和企业架构)；
司法职能(问题管理和升级)；
执行职能(保护和服务、管理责任)。

为更好地管理风险，多数组织采用了典型的数据治理形式，以便能够听取所有利益相关方的意见。

数据治理机构	说明
数据治理指导委员会	组织中数据治理的主要和最高权威组织，负责监督、支持和资助数据治理活动。由跨职能的高级管理人员组成。通常根据DGC和CDO的建议，为数据治理发起的活动提供资金。该委员会可能会反过来受到来自更高级别组织或者委员会的监督。
数据治理委员会	管理数据治理规划（如制度或指标的制定）、问题和升级处理。根据所采用的运营模型由相关管理人员组成。
数据治理办公室	持续关注所有DAMA知识领域的企业级数据定义和数据管理标准，由称为数据管理专员、数据保管人和数据拥有者等协调角色组成。
数据管理团队	与项目团队在数据定义和数据管理标准方面进行协作、咨询，由聚焦于一个或者更多领域或项目的成员组成，包括业务数据管理专员、技术数据管理专员或者数据分析师（注：偏重管理职责）
本地数据治理委员会	大型组织可能有部门级或数据治理指导委员会分部，在企业数据治理委员会（DGC）的指导下主持工作。小型组织应避免这种复杂设置。

3、数据治理运营模型类型（重点）

集中治理：数据治理组织监督所有业务领域中的活动。

分布治理：每个业务单元中采用相同的数据治理运营模型和标准。

联邦治理：数据治理组织与多个业务单元协同，以维护一致的定义和标准。

4、数据管理职责

定义：描述了数据管理岗位的责任，以确保数据资产得到有效控制和使用。管理职责的焦点因组织不同而不同，取决于组织战略、文化、试图解决的问题、数据管理成熟度水平以及管理项目的形式等因素。

1）创建和管理核心元数据。

它包括业务术语、有效数据值及其他关键元数据的定义和管理。通常管理专员负责整理的业务术语表，成为与数据相关的业务术语记录系统。

2）记录规则和标准。

它包括业务规则、数据标准及数据质量规则的定义和记录。通常基于创建和使用数据的业务流程规范，来满足对高质量数据的期望。为确保在组织内部达成共识，由数据管理专员帮助制定规则并确保其得到连贯的应用。

3）管理数据质量问题。

数据管理专员通常参与识别、解决与数据相关的问题，或者促进解决的过程。

4）执行数据治理运营活动。

数据管理专员有责任确保数据治理制度和计划在日常工作或每一个项目中被遵循执行，并对决策发挥影响力，以支持组织总体目标的方式管理数据。

5、数据治理岗位类型

1）首席数据管理专员（Chief Data Stewards）。CDO的替代角色，担任数据治理机构的主席，也可以是虚拟的（基于委员会）或者在分布式数据治理组织中担任CDO。他们甚至也可能是高层发起者。

2）高级数据管理专员（Executive Data Stewards）。他们是数据治理委员会（DGC）的资深管理者。

3）企业数据管理专员（Enterprise Data Stewards）。他们负责监督跨越业务领域的数据职能。

4）业务数据管理专员（Business Data Stewards）。他们是业务领域专业人士，通常是公认的领域专家，对一个数据域负责。他们和利益相关方共同定义和控制数据。

5）数据所有者（Data Owner）。他们是某个业务数据管理专员，对其领域内的数据有决策权。

6）技术数据管理专员（Technical Data Stewards）。他们是某个知识领域内工作的IT专业人员，如数据集成专家、数据库管理员、商务智能专家、数据质量分析师或元数据管理员。 7）协调数据管理专员（Coordinating Data Stewards）。这在大型组织中尤为重要，其领导并代表业务数据管理专员和技术数据管理专员进行跨团队或者数据专员之间的讨论。

6、数据制度

7、数据资产估值

替换成本（Replacement Cost）。在灾难性数据破坏事件或者数据中断时，数据替换或恢复的成本，包括组织内的交易、域、目录、文档和指标信息等。
市场价值（Market Value）。兼并或收购企业时作为企业资产的价值。
发现商机（Identified Opportunities）。通过交易数据或者通过售卖数据，从数据（商务智能）中发现商机获得的收入价值。
售卖数据（Selling Data）。一些组织为产品或销售将数据打包从数据中获得的洞察。
风险成本（Risk Cost）。它是基于潜在罚款、补救成本和诉讼费用的估价。来自法律或监管的风险包括：
1. 缺少必需的数据。
2. 存在不应留存的数据（例如，在法律审计期间发现的意外数据；需要清除但尚未清除的数据）。
3. 除上述成本外，包括数据不正确造成客户、公司财务和声誉受到损害。
4. 风险下降或者风险成本的下降，其实是与提升和验证数据等操作干预成本的抵消之后的溢出部分。

数据资产会计准则

原则	说明
问责原则	组织必须确定对各种类型数据和内容负有最终责任的个人
资产原则	各种类型的数据内容都是资产，并且具有其他资产的特征。它们应像物理或者金融资产一样可以进行管理、担保和核算
审计原则	数据和内容的准确性要接受独立机构的定期审计
尽职调查原则	如果风险是已知的，必须要报告。如果可能存在风险，必须予以确认。数据风险包括与不良数据管理实践相关的风险
持续经营原则	数据及其内容对于组织的成功、持续运营和管理至关重要，即它们不是为实现目标的临时手段，也不是业务的副产品
估值级别原则	在最合理或最容易测量的级别上将数据作为资产进行估值
责任原则	基于监管和伦理，存在着与数据及内容有关的滥用或者管理不当的财务责任
质量原则	数据准确性、数据生命周期和内容会影响组织的财务状况
风险原则	存在与数据和内容相关的风险。无论是作为负债还是作为管理和降低固有风险的成本，风险必须得到正式确认
价值原则	基于满足组织目标的方式、可流通性以及对组织商誉(资产负债表)的贡献来判断，数据和内容是有价值的。信息的价值反映的是其维护和运行的成本与它对组织的贡献抵消之后的溢出。

3.2 活动（重点）

3.2.1 规划组织的数据治理

1、执行就绪评估

1）数据管理成熟度

了解组织对数据的处理方式；衡量其当前的数据管理能力和容量。重点是业务人员对公司管理数据和利用数据的优势以及客观标准（如工具的使用、报告级别等）的印象（参见第15 章）。

2）变革能力

数据治理需要行为上的改变，因此测量组织为适应数据治理所需而改变行为的能力非常重要。此外，这些活动将有助于识别潜在的阻力点。通常进行数据治理需要正式的组织变革管理。在评估变革能力时，变革管理过程中将评估现有的组织结构、文化观念以及变革管理过程本身（Hiatt和Creasy，2012）（参见第17章）。

3）协作准备

该评估体现了组织在管理和使用数据方面的协作能力。根据定义，管理工作跨越不同职能领域，因此本质上是需要协作才能完成的。如果某个组织对于如何协作无从下手，那么这样的企业文化将成为管理的障碍。永远不要假设一个组织开始就知道如何协作，当结合变革能力进行评估时，该评估提供了洞察实施数据治理所需企业文化的能力。

4）与业务保持一致

通过业务一致性能力评估可以检查组织如何调整数据的使用来支持满足业务战略要求，有时这项评估会包含在变革能力评估中一起进行。通过这项评估常常会惊奇地发现临时安排的（Ad hoc）数据相关活动是如何进行的。

2、探索与业务保持一致

3、制定组织触点

（1）采购和合同（Procurement and Contracts）

首席数据官与供应商/合作伙伴的管理部门或者采购部门合作，制定和执行关于数据管理合同的标准文本。这包括数据即服务（DaaS）、云服务采购、其他外包、第三方开发工作或者内容获取/许可协议以及可能的以数据为中心的IT工具采购和升级。

（2）预算和资金（Budget and Funding）

如果首席数据官没有直接控制所有与数据采购相关的预算，那么数据管理办公室将成为防止重复工作及保证优化获得数据资产的焦点。

（3）法规遵从性（Regulatory Compliance）

首席数据官在不同地区、国家和国际监管环境中工作，要理解这些环境如何影响组织及其数据管理活动。需要开展持续性的监控活动，以识别、跟踪新出现和潜在的影响和要求。

（4）SDLC/开发框架（SDLC/Development Framework）

数据治理规划中确定了在系统或应用程序开发生命周期中制定组织策略、流程和标准的控制点。

3.2.2 制定数据治理战略

交付物

1）章程。确定数据管理的业务驱动愿景、使命和原则，包括成熟度评估、内部流程分析及当前问题和成功标准。

2）运营框架和职责。定义数据治理活动的结构和责任。

3）实施路线图。制定时间计划，其涉及最终发布的制度、指令、业务术语、架构、资产价值评估、标准和程序以及所期望业务和技术流程发生的改变、支持审计活动和法规遵从的交付成果。

4）为成功运营制订计划。为数据治理活动描述一个可持续发展的目标状态。

1、定义数据治理运营框架

1）数据对组织的价值。如果一个组织出售数据，显然数据治理具有巨大的业务影响力。将数据作为最有价值事物的组织（如Facebook、亚马逊）将需要一个反映数据角色的运营模式。对于数据是操作润滑剂的组织，数据治理形式就不那么严肃了。

2）业务模式。分散式与集中式、本地化与国际化等是影响业务发生方式以及如何定义数据治理运营模式的因素。与特定IT策略、数据架构和应用程序集成功能的链接，应反映在目标运营框架设计中（图3- 6）。

3）文化因素。就像个人接受行为准则、适应变化的过程一样，一些组织也会抵制制度和原则的实施。开展治理战略需要提倡一种与组织文化相适应的运营模式，同时持续地进行变革。

4）监管影响。与受监管程度较低的组织相比，受监管程度较高的组织具有不同的数据治理心态和运营模式。可能还与风险管理或法律团队有联系。

2、制定目标、原则和制度

通常由数据管理专业人员、业务策略人员，在数据治理组织的支持下共同起草数据治理的目标、原则和制度，然后由数据管理专员和管理人员审查并完善，最终由数据管理委员会（或类似组织）进行终审、修订和发布采用。

管理制度可能包含多个不同方面内容，如：

由数据治理办公室（DGO）认证确认组织用到的数据。
由数据治理办公室（DGO）批准成为业务拥有者。
业务拥有者将在其业务领域委派数据管理专员，数据管理专员的日常职责是协调数据治理活动。
尽可能地提供标准化报告、仪表盘或计分卡，以满足大部分业务需求。
认证用户将被授予访问相关数据的权限，以便查询即席（ad hoc）报表和使用非标准报告。
定期复评所有认证数据，以评价其准确性、完整性、一致性、可访问性、唯一性、合规性和效率等。

必须有效地沟通、监督、执行和定期复评数据管理制度。数据管理委员会可将此权力委托给数据管理指导委员会。

3、推动数据管理项目

4、参与变革管理

组织需要组建一个团队来负责以下事项：

规划。规划变革管理，包括进行利益相关方分析、获得支持以及建立能够克服阻力的沟通方法。
培训。建立和执行数据治理项目培训。
影响系统开发。与项目管理办公室（PMO）合作，在软件开发生命周期（SDLC）中增加数据治理步骤。
制度实施。宣传数据制度和组织对数据管理活动的承诺。
沟通。提高数据管理专员和其他数据治理专业人员对自身角色和职责以及数据管理项目目标和预期的认知。

沟通重点放在：

提升数据资产价值。教育和告知员工数据在实现组织目标中所起的作用。
监控数据治理活动的反馈并采取行动。除了共享信息外，通过沟通计划还应引导出相关方反馈，以指导数据治理方案和变更管理过程。积极寻求和利用利益相关方的意见可以建立对项目目标的承诺，同时也可以确定成功和改进的机会。
实施数据管理培训。对各级组织进行培训，以提升对数据管理最佳实践和管理流程的认知。
可以从以下5个关键领域衡量变革管理的程度[5]：
1. 意识到需要改变。
2. 希望参与并支持变革。
3. 知道如何改变。
4. 具备实施新技能和行为的能力。
5. 保持持续变革。
实施新的指标和关键绩效（KPI）。应重新调整员工激励措施，以支持与数据管理最佳实践相关的行为。由于企业数据治理需要跨职能合作，激励措施中应该鼓励跨部门活动和协作。

5、参与问题管理

问题管理是识别、量化、划分优先级和解决与数据治理相关的问题的过程，包括：

授权。关于决策权和程序的问题。
变更管理升级。升级变更过程中出现问题的流程。
合规性。满足合规性要求的问题。
冲突。包括数据和信息中冲突的策略、流程、业务规则、命名、定义、标准、架构、数据所有权以及冲突中利益相关方的关注点。
一致性。与策略、标准、架构和流程一致性相关的问题。
合同。协商和审查数据共享协议，购买和销售数据、云存储。
数据安全和身份识别。有关隐私和保密的问题，包括违规调查。
数据质量。检测和解决数据质量问题，包括灾难事件或者安全漏洞。

数据治理计分卡可用于识别与问题相关的趋势，如问题在组织内发生的位置、根本原因等。

开展数据治理需要在以下几个方面建立控制机制和流程：

识别、收集、记录和更新的问题。
各项活动的评估和跟踪。
记录利益相关方的观点和可选解决方案。
确定、记录和传达问题解决方案。
促进客观、中立的讨论，听取各方观点。
将问题升级到更高权限级别。

6、评估法规遵从性要求

对管理信息资产有重大影响的部分全球性法规如下：

会计准则。政府会计准则委员会（GASB）和财务会计准则委员会（FASB）的会计准则对（在美国）管理信息资产具有重大影响。
BCBS 239（巴塞尔银行监管委员会）和巴塞尔II。这是指有效的风险数据汇总和风险报告原则，是一整套针对银行的法规。自2006年以来，在欧盟国家开展业务的金融机构必须报告证明流动性的标准信息。
CPG 235。澳大利亚审慎监管局（APRA）负责监督银行和保险实体，公布了一些标准和指南以帮助被监管对象满足这些标准，其中包括CPG235，一个管理数据风险的标准。制定这个标准的目的是解决数据风险的来源，并在整个生命周期中管理数据。
PCI-DSS。支付卡行业数据安全标准（PCI-DSS）。
偿付能力标准II。欧盟法规，类似巴塞尔协议II，适用于保险行业。
隐私法。适用于各地区、各主权实体和国际的法律。

3.2.3 实施数据治理

数据治理不可能一夜之间实现。治理过程包含了很多复杂性协调工作，需要对治理进行规划，不仅要考虑到组织的变化，而且改变得要简单。最佳方式是创建一个实施路线图，说明不同活动间的关系和整体时间框架。

有一些数据治理工作是基础性的，其他工作依赖于此。这些基础性工作分为初始阶段和持续阶段。高优先级的前期工作包括：

定义可满足高优先级目标的数据治理流程。
建立业务术语表，记录术语和标准。
协调企业架构师和数据架构师，帮助他们更好地理解数据和系统。
为数据资产分配财务价值，以实现更好的决策，并提高对数据在组织成功中所起作用的理解。

1、发起数据标准和规程

数据管理知识领域内的标准化概念示例如下：

数据架构（Data Architecture）。它包含企业级数据模型、工具标准和系统命名规范。
数据建模和设计（Data Modeling and Design）。它包括数据模型管理程序、数据模型的命名规范、定义标准、标准域、标准缩写等。
数据存储和操作（Data Storage and Operations）。它包括标准工具、数据库恢复和业务连续性标准、数据库性能、数据留存和外部数据采集。
数据安全（Data Security）。它包括数据访问安全标准、监控和审计程序、存储安全标准和培训需求。
数据集成（Data Integration）。它是用于数据集成和数据互操作的标准方法、工具。
文件和内容（Documents and Content）。它包含内容管理标准及程序，包括企业分类法的使用，支持法律查询、文档和电子邮件保留期限、电子签名和报告分发方法。
参考数据和主数据（Reference and Master Data）。它包括参考数据管理控制流程、数据记录系统、建立标准及授权应用、实体解析标准。
数据仓库和商务智能（Data Warehousing and Business Intelligence）。它包括工具标准、处理标准和流程、报告和可视化格式标准、大数据处理标准。
元数据（Metadata）。它指获取业务和技术元数据，包括元数据集成和使用流程。
数据质量（Data Quality）。它包括数据质量规则、标准测量方法、数据补救标准和流程。
大数据和数据科学（Big Data and Data Science）。它包含数据源识别、授权、获取、记录系统、共享和刷新。