亚信安慧AntDB MTK数据同步工具之数据稽核

数据稽核是一种用于确保表数据准确性和一致性的重要方法,它涉及到检查数据的完整性、一致性、有效性和合法性,以及与预期规范的匹配程度等多个方面。随着大数据时代的到来,通过有效的数据稽核,组织可以提高决策的准确性和效率,优化业务流程,并增强数据的可靠性和可用性。

数据稽核也可以帮助组织发现数据质量问题、识别潜在的数据错误,并为数据管理和决策提供可靠的基础。本文介绍了MTK数据稽核的功能以及操作步骤。

MTK支持数据稽核功能,数据稽核包含表记录数稽核、表数据稽核和表结构稽核,它不仅支持同构数据库之间的数据稽核,还支持异构数据库之间的数据稽核,同时也可以进行不同schema映射下的表数据稽核。在数据迁移后,对迁移库的表数据进行数据稽核,可以发现数据的一致性、完整性、准确性等问题。

表记录数稽核

表记录数稽核通过对源表和目标表分别执行:

select count(*) from schemaName.tableName

以获取表名对应的记录数,比较记录数是否一致,需要注意的是支持源端和目标端的schema名称不同。表记录数稽核可用于快速发现数据的完整性问题。

数据校验选中需要校验的所有表,校验范围选择行数。

图1:校验范围-行数

行数校验结果如下图2所示,可以看到源表和目标表在行数不一致时分别展示源表行数和目标表行数:

图2:行数校验结果

表数据稽核

表数据稽核通过select语句将表数据查询出来,再进行内容比对。若遇到大表,且有主键表,再根据主键拆分成多个select语句多线程处理;若是无主键表,则根据rowid或者ctid分段查询,需注意的是不同数据库采用的分段策略有所不同,通过分段查询可以提高数据校验的处理速度。表数据稽核可用于全方面的检查数据的一致性、完整性、准确性等问题。

图3:校验范围-模型和数据

表数据稽核比对结果如下图4所示,可以看到表内容比对的记录数,当表数据不一致时,可以点击详情按钮查看源表和目标表具体的内容差异明细:

图4:校验结果-模型和数据

表差异内容明细图如下图5所示:

图5:表内容差异明细

表结构稽核

表结构稽核可以查看源表和目标表的字段差异,包括对字段名称、字段类型、字段长度的校验。表结构稽核可以用于检查不同环境DDL(数据定义语言)的一致性问题。

图6:表结构差异明细

综上所述,MTK工具的数据校验是一项重要任务。通过使用MTK工具,可以对数据进行校验、验证和修复,以确保数据的准确性和完整性。

MTK工具提供不同的校验方法和规则,用于检查数据中的错误、不一致性和异常值,从而保证数据的质量和可靠性。MTK工具的数据校验也可以帮助我们优化数据流程、快速发现和解决潜在的数据问题,并为后续分析和决策提供可靠的数据基础。因此,在使用MTK工具进行数据校验时,应确保选择适当的校验方法和配置参数,以满足特定的数据质量要求。

关于亚信安慧AntDB数据库

AntDB数据库始于2008年,在运营商的核心系统上,为全国24个省份的10亿多用户提供在线服务,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔通信核心交易,保障系统持续稳定运行近15年,并在通信、金融、交通、能源、物联网等行业成功商用落地。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/181019.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

cefsharp119.4.30(cef119.4.3,Chromium119.0.6045.159)版本升级体验支持H264及其他多个H264版本

Cefsharp119.4.30,cef119.4.3,Chromium119.0.6045.159 此更新包括一个高优先级安全更新 This update includes a high priority security update. 说明:此版本119.4.3支持H264视频播放(需要联系我),其他版本。.NETFramework 4.6.2 NuGet Gallery | CefSharp.WinForms 119.…

IT支持团队的绩效指标和最佳实践

一名员工在远程时因笔记本问题寻求IT支持,尽管他们多次尝试排除故障,但由于缺乏专业知识,最终还是无法访问工作所需的应用程序。这时,他们需要一名专业的 IT 技术人员来指导他们,但他们只能等待有人注意到并回应他们的…

Adobe 家族系列download

adobe 前言 Adobe公司的产品线中拥有多个家族桶,下面是Adobe全家桶产品的功能介绍: Creative Cloud(创意云):包含Photoshop、Illustrator、InDesign、Premiere Pro、After Effects、Lightroom等创意设计、视频制作和…

Java的Service Provider Interface (SPI)机制动态地加载和发现服务

基本说明 “src\main\resources\META-INF\services” 是Java项目中常见的一个路径,这个路径通常被用来放置服务提供者的配置文件。在Java的Service Provider Interface (SPI)机制中,这个目录下的文件被用来注册和发现服务。 具体来说,如果你…

编写自己的CA和TA与逆向

参考内容《手机安全和可信应用开发》 https://note.youdao.com/s/MTlG4c1w 介绍 TA的全称是Trust Application, 即可信任应用程序。 CA的全称是Client Applicant, 即客户端应用程序。 TA运行在OP-TEE的用户空间, CA运行在REE侧。 CA执行时代…

NB水表能承受最大的水压是多少?

NB水表,作为新一代智能水表,以小巧的体积、稳定的性能和强大的功能赢得了市场的认可。那么,它究竟能承受多大的水压呢?接下来,小编来为大家揭秘下,一起来看下吧! 一、NB水表概述 NB水表&#xf…

森利威尔SL4010 升压恒压 12V升压24V 12V升压36V 12V升压48V

在当今的电子设备中,电源管理系统的设计是非常重要的。为了保证设备的稳定运行,升压和恒压电源的应用已经成为不可或缺的一部分。在这篇文章中,我们将介绍森利威尔SL4010升压恒压电源,它可以实现12V升压24V、12V升压36V、12V升压4…

2023亚太杯数学建模竞赛C题新能源电动汽车数据分析与代码讲解

C题论文包括摘要、问题重述、问题分析、模型假设、符号说明、模型的建立和求解(问题1模型的建立和求解、问题2模型的建立和求解、问题3模型的建立和求解、问题4模型的建立和求解、问题5模型的建立和求解)、模型的评价等等, 视频讲解如下&…

C++算法入门练习——相同的二叉查找树

将第一组n​个互不相同的正整数先后插入到一棵空的二叉查找树中,得到二叉查找树T1​;再将第二组n个互不相同的正整数先后插入到一棵空的二叉查找树中,得到二叉查找树T2​。判断T1​和T2​​是否是同一棵二叉查找树。 二叉查找(搜索)树定义&am…

基于springboot实现校园在线拍卖系统项目【项目源码】

基于springboot实现校园在线拍卖系统演示 Javar技术 JavaScript是一种网络脚本语言,广泛运用于web应用开发,可以用来添加网页的格式动态效果,该语言不用进行预编译就直接运行,可以直接嵌入HTML语言中,写成js语言&…

Jmeter 分布式压测

为什么要分布式 jmeter是100%纯java开发的程序,虚拟用户是以线程实现的,在大量并发情况下,很容易出现CPU、内存消耗过大的问题,甚至会出现java内存溢出。一般一台电脑设置500-600线程数即可,如果超过1000线程&#xf…

【UE5】组成部分

了解UE游戏的基本构成 资源(Asset): 在UE中,资源(Asset)是指游戏中使用到的各种素材,例如模型、纹理、材质、声音、动画、蓝图、数据表格、关卡等(通常以uasset结尾),他…

2022年全国英烈纪念设施数据,各区县均有!

中国是一个拥有悠久历史和灿烂文化的国家,其英烈纪念设施承载着中国人民对为国家独立、民族解放和民主进步而英勇斗争的先烈们的崇敬和缅怀之情。 这些设施不仅是中国革命历史和先烈精神的重要载体,也是传承红色文化、弘扬革命精神的重要场所。 今天分享…

nint和Pattern matching介绍(C#)

nint 最近看C# 9.0时,发现一个有意思的关键词,就是nint,第一次看到这个,于是好奇心爆棚,就去实际操作了一下。 nint i 1000; Console.WriteLine("i{0}", i);实际结果与int的结果是一样的,那为什…

智能配电室电力监控系统

智能配电室电力监控系统是一种专门针对配电室的电力设备进行实时监控和管理的系统。依托电易云-智慧电力物联网,它采用先进的技术手段,对配电室内的电气设备和环境进行全方位、实时的监测和控制,以确保配电室的安全、稳定运行。 该系统的主要…

戳穿人工智能的六个谎言:辨别真伪

目录 1. AI是智能的 2. 始终越大越好 3. AI毫无透明度和问责制可言 4. AI一贯正确 5. AI严重冲击就业市场 6. AI主宰人类 主要结论 相关拓展 人工智能(AI)无疑是我们这个时代的流行语。特别是随着ChatGPT等生成式AI应用程序的出现,A…

使用Pytorch从零开始构建Transformer

在本教程中,我们将使用 PyTorch 从头开始​​构建一个基本的 Transformer 模型。Vaswani 等人提出的 Transformer 模型。在论文“Attention is All You Need”中,是一种专为序列到序列任务(例如机器翻译和文本摘要)而设计的深度学…

Centos7 mysql8.2.0

一、下载 选择社区开源版 二、解压安装 解压 tar -xvf mysql.tar查看是否存在mariadb,如果存在卸载,可能会有冲突 //查看mariadb rpm -qa|grep mariadb //存在即卸载 rpm -e --nodeps mariadb-libs 开始安装 //需要安装解压后其中几个rpm,包有依赖关系…

python变量、常量、数据类型

一、变量 变量是存储在内存中的值,这就意味着在创建变量时会在内存中开辟一个空间。 基于变量的数据类型,解释器会分配指定内存,并决定什么数据可以被存储在内存中。 因此,变量可以指定不同的数据类型,这些变量可以…

C语言——利用函数递归,编写函数不允许创建临时变量,求字符串长度

#define _CRT_SECURE_NO_WARNINGS 1#include<stdio.h>int my_strlen(char* str) {if(*str ! \0)return 1my_strlen(str1);elsereturn 0; }int main() {char arr[] "hello";int len my_strlen(arr); //arr是数组&#xff0c;数组传参&#xff0c;传过去的是第…