数据治理003-数据域

数据仓库是面向主题(数据综合、归类并进行分析利用的抽象)的应用。

数据仓库模型设计除横向的分层外,通常也需要根据业务情况进行纵向划分数据域。数据域是联系较为紧密的数据主题的集合,通常是根据业务类别、数据来源、数据用途等多个维度,对企业的业务数据进行的区域划分,将同类型数据存放在一起,便于快速查找需要的内容。
不同使用目的数据,分类标准不同。例如,电商行业通常分为交易域、会员域、商品域等。

什么是数据域?

数据域是对数据的领域划分,这种划分使得数据域在一个大的上下文中形成一个较为明显的边界。这种划分的依据或者角度是不同的,比如可以从业务的角度,也可以从数据治理的角度等。但这些角度本质可能是互通的,因为最终的结果和目的可能是相同的。

另外我们常听到的关于数据域就是领域建模、领域驱动设计。其理论是一样的,只是上下文粒度、边界发生了改变。

下面从企业的业务和数据管理的角度对企业的数据域进行划分:

客户
产品
销售

以上的数据域之间存在关联关系,事实上也反映一定的流程。

下面我们从金融行业的角度对数据域进行划分:

主体
品种
交易

在数据域的基础上,我们通常会划分子域。这些子域一般由某一个特定的业务流程或环节所定义,也有可能是两个数据域之间的关系所定义。当然有些子域会上升到域的层级进行管理,如订单、合同。当然不同行业、不同企业对数据域和子域的划分是不同的。

为什么要划分数据域?

系统设计:每个行业、企业都会有数据域的划分,有一些行业已经成为规范,用于指导行业的系统建设。
数据管理和治理:帮助企业进行数据管理和治理,形成企业自身的数据资产,如主数据、主题域的划分。
数据架构:有一些规模较大的企业也形成了自己的数据域划分,这有利于企业内部的系统设计和架构(数据中台、数仓等)。
模型设计:领域建模。
数据解耦:系统的设计不仅要从功能上解耦,也要从数据上解耦。
微服务架构:对于微服务得架构,我们更多的是从业务或应用上进行划分,数据上的解耦也为我们对微服务得设计提供了一种思路或验证。

数据域划分原则:全局性、可理解性和数量适中。

作者:PM产品笔记
链接:https://www.jianshu.com/p/6c7e1b2b2714
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

数据域(Domain)、数据类型(Data Type)及数据标准概念

常常听到大家对数据域(Domain)、数据类型(Data Type)及数据标准概念的混淆。
特以此文将这几个概念详细讨论一下。

为了更好的帮助大家理解数据域、数据模型、元数据之间的关系,首先我们以图示来表达它们之间的关系:
在这里插入图片描述
数据域(Domain)也称值域。域是用来描述一个字段的技术属性的集合,包括数据类型,数据长度,小数点位数以及取值范围等。具有以上技术属性相同定义的字段可以包含进一个域,而当域的属性定义发生改变时,所有引用它的字段的属性都会对应进行提示。

数据标准

数据标准通常包括技术属性、业务属性与管理属性。数据域对应的是其中的技术属性部分。

通过落标数据标准到数据模型,之后将数据模型由逻辑模型派生到物理模型,最终落地到数据库schema。

定义数据域,可以实现多个实体的属性共享,这在模型设计中非常重要。

以“国家”数据域的定义为例:“居住地”、“出生地”、“国籍”三个实体中都有“国家”属性,我们就可以定义一个“国家”域,分别附加到三个实体中。这样,修改域的同时,使用域的实体的相关属性也会随之更新。
数据域的操作
定义“国家”数据域的技术属性:数据类型、长度、精度、非空。
在这里插入图片描述
定义“国家”数据域的标准代码值:
在这里插入图片描述

数据域的应用场景

应用数据域到数据模型的实体属性
在设计数据模型添加属性的类型和取值范围、约束条件时,对于相同类型的属性,不需要逐个去设置相同的取值范围、约束条件等。只需把该类型的定义在数据域(数据标准)中,添加实体属性时,填写关键词,并选择联想的数据标准,则该字段的类型、约束等将自动应用为该域的设定值。
如下图所示,从关键词联想的下拉列表中选择一个数据标准:
在这里插入图片描述
多个字段引用同一个数据域:
在这里插入图片描述

建设数据域的经验分享

01数据域的量够不够

完成基本的覆盖度即可启动
建立上下互动,让数据域生长起来
在这里插入图片描述
建立贡献激励制度

02使用数据建模工具提高开发效率

拖拉拽的方式用数据标准组装模型,根据输入智能推荐数据标准,批量智能匹配数据标准
检索模型库快速定位高质量模型及关联库表,可直接应用到自己的模型设计
一致性验证及应用
在这里插入图片描述

03核标验标,形成闭环

在这里插入图片描述

对几千上万张表的划分(一种思路)

有几点需要注意的地方
1.不重不漏,确保每个表都在一个域里,且只在一个域里(精确定位)
2.每个域下都可以根据需要再分子域,不限定层级(最自由方便)
3.如果分子域就不能放表,表只放在最底层的域中(树状目录管理时更方便)
4.最好保证每个域下的子域数量或表数量在20个左右(太多了不方便记忆管理,太少了没必要划分)
5.【其他】很好用,不好划分的都放里面(减少域层级数量有理由理解记忆)
6.数据团队分域可以作为分工的标准(数据不重、分工明确、界限清晰)
7.数据团队分域后,可以决定域内表的中间命名(看到表名时可以理解更多信息)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/886041.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

InternLM + LlamaIndex RAG 实践

llamaindexInternlm2 RAG实践 参考教程 正式介绍检索增强生成(Retrieval Augmented Generation,RAG)技术以前,大家不妨想想为什么会出现这样一个技术。 给模型注入新知识的方式,可以简单分为两种方式,一种…

线性代数(持续更新)

一.矩阵及其计算 1.矩阵的概念 矩阵就是一个数表 元素全是0,是零矩阵,用0来表示 当mn时,称为n阶矩阵(方阵) 只有一行的叫行矩阵,只有一列的叫列矩阵 只有对角线有元素的叫做对角矩阵,用dia…

(Linux驱动学习 - 4).Linux 下 DHT11 温湿度传感器驱动编写

DHT11的通信协议是单总线协议,可以用之前学习的pinctl和gpio子系统完成某IO引脚上数据的读与写。 一.在设备树下添加dht11的设备结点 1.流程图 2.设备树代码 (1).在设备树的 iomuxc结点下添加 pinctl_dht11 (2).在根…

HuggingChat macOS 版现已发布

Hugging Face 的开源聊天应用程序 Hugging Chat,现已推出适用于 macOS 的版本。 主要特点 Hugging Chat macOS 版本具有以下亮点: 强大的模型支持: 用户可以一键访问多个顶尖的开源大语言模型,包括 Qwen 2.5 72B、Command R、Phi 3.5、Mistral 12B 等等&…

WebRTC入门

主要参考资料: WebRTC 在 ESP32 系列硬件平台上的实现: https://www.bilibili.com/video/BV1AEHseWEda/?spm_id_from333.337.search-card.all.click&vd_sourcedd284033cd0c4d1f3f59a2cd40ae4ef9 火山 RTC豆包大模型,给用户体验装上银色子弹: https:…

【网络安全】Cookie与ID未强绑定导致账户接管

未经许可,不得转载。 文章目录 前言正文前言 DigiLocker 是一项在线服务,旨在为公民提供一个安全的数字平台,用于存储和访问重要的文档,如 Aadhaar 卡、PAN 卡和成绩单等。DigiLocker 通过多因素身份验证(MFA)来保护用户账户安全,通常包括 6 位数的安全 PIN 和一次性密…

【RabbitMQ】面试题

在本篇文章中,主要是介绍RabbitMQ一些常见的面试题。对于前几篇文章的代码,都已经在码云中给出,链接是mq-test: 学习RabbitMQ的一些简单案例 (gitee.com),如果存在问题的话欢迎各位提出,望共同进步。 MQ的作用以及应用…

sentinel原理源码分析系列(一)-总述

背景 微服务是目前java主流开发架构,微服务架构技术栈有,服务注册中心,网关,熔断限流,服务同学,配置中心等组件,其中,熔断限流主要3个功能特性,限流,熔断&…

《OpenCV》—— 指纹验证

用两张指纹图片中的其中一张对其验证 完整代码 import cv2def cv_show(name, img):cv2.imshow(name, img)cv2.waitKey(0)def verification(src, model):sift cv2.SIFT_create()kp1, des1 sift.detectAndCompute(src, None)kp2, des2 sift.detectAndCompute(model, None)fl…

使用 Llama 3.1 和 Qdrant 构建多语言医疗保健聊天机器人的步骤

长话短说: 准备好深入研究: 矢量存储的复杂性以及如何利用 Qdrant 进行高效数据摄取。掌握 Qdrant 中的集合管理以获得最佳性能。释放上下文感知响应的相似性搜索的潜力。精心设计复杂的 LangChain 工作流程以增强聊天机器人的功能。将革命性的 Llama …

在线代码编辑器

在线代码编辑器 文章说明前台核心代码后台核心代码效果展示源码下载 文章说明 采用Java结合vue3设计实现的在线代码编辑功能,支持在线编辑代码、运行代码,同时支持导入文件,支持图片识别,支持复制代码,可将代码导出为图…

《RabbitMQ篇》基本概念介绍

MQ功能 解耦 MQ允许不同系统或组件之间松散耦合。发送者和接收者不需要直接连接,从而提高了系统的灵活性和可维护性。异步处理 使用MQ可以实现异步消息传递,发送者可以将消息放入队列后立即返回,不必等待接收者处理。这提高了系统的响应速度…

Kafka学习笔记(一)Kafka基准测试、幂等性和事务、Java编程操作Kafka

文章目录 前言4 Kafka基准测试4.1 基于1个分区1个副本的基准测试4.2 基于3个分区1个副本的基准测试4.3 基于1个分区3个副本的基准测试 5 Java编程操作Kafka5.1 引入依赖5.2 向Kafka发送消息5.3 从Kafka消费消息5.4 异步使用带有回调函数的生产消息 6 幂等性6.1 幂等性介绍6.2 K…

【BurpSuite】SQL注入 | SQL injection(1-2)

🏘️个人主页: 点燃银河尽头的篝火(●’◡’●) 如果文章有帮到你的话记得点赞👍收藏💗支持一下哦 【BurpSuite】SQL注入 | SQL injection(1-2) 实验一 Lab: SQL injection vulnerability in WHERE clause…

基于微信的乐室预约小程序+ssm(lw+演示+源码+运行)

摘 要 随着社会的发展,社会的方方面面都在利用信息化时代的优势。互联网的优势和普及使得各种系统的开发成为必需。 本文以实际运用为开发背景,运用软件工程原理和开发方法,它主要是采用java语言技术和mysql数据库来完成对系统的设计。整个…

字体文件压缩

技术点 npm、html、font-spider 实现原理 个人理解:先引入原先字体,然后重置字符为空,根据你自己填充文字、字符等重新生成字体文件,因此在引入的时候务必添加自己使用的文字、字符等!!! 实…

TDengine 流计算与窗口机制的深度解析:揭示计数窗口的关键作用

在 TDengine 3.2.3.0 版本中,我们针对流式计算新增了计数窗口,进一步优化了流式数据处理的能力。本文将为大家解读流式计算与几大窗口的关系,并针对新增的计数窗口进行详细的介绍,帮助大家进一步了解 TDengine 流式计算&#xff0…

解决MySQL报Incorrect datetime value错误

目录 一、前言二、问题分析三、解决方法 一、前言 欢迎大家来到权权的博客~欢迎大家对我的博客进行指导,有什么不对的地方,我会及时改进哦~ 博客主页链接点这里–>:权权的博客主页链接 二、问题分析 这个错误通常出现在尝试将一个不…

沂机管理系统/data/Ajax.aspx接口存在SQL注入漏洞

漏洞描述 沂机管理系统/data/Ajax.aspx接口存在SQL注入漏洞,攻击者可以获取服务器权限 漏洞复现 body"后台管理系统演示版" POC GET /data/Ajax.aspx?methodlog_list&page1&limit20&fkey1&fdate12024-10-0100%3A00%3A00&fdate2…

Postgresql源码(136)syscache/relcache 缓存及失效机制

相关 《Postgresql源码(45)SysCache内存结构与搜索流程分析》 0 总结速查 syscache:缓存系统表的行。通用数据结构,可以缓存一切数据(hash dlist)。可以分别缓存单行和多行查询。 syscache使用CatCache数…