SeaTunnel引擎下的SQL Server CDC解决方案：构建高效数据管道

file

在快速发展的数据驱动时代，实时数据处理已经成为企业决策和运营的关键因素。特别是在处理来自各种数据源的信息时，如何确保数据的及时、准确和高效同步变得尤为重要。本文着重介绍了如何利用 SqlServer CDC 源连接器在 SeaTunnel 框架下实现 SQL Server 到其他数据系统的实时数据同步，这对于希望提升数据处理能力和实时数据分析的企业来说，具有重要的实践意义。

SQL Server CDC

SqlServer CDC 源连接器

支持 SQL Server 版本

  • 服务器：2019（或更高版本，仅供参考）

支持引擎

SeaTunnel Zeta
Flink

主要特性

  • 批处理
  • 流处理
  • 精确一次
  • 列投影
  • 并行处理
  • 支持用户自定义分片

描述

SqlServer CDC 连接器允许从 SqlServer 数据库读取快照数据和增量数据。本文档描述了如何设置 SqlServer CDC 连接器以在 SqlServer 数据库上运行 SQL 查询。

支持的数据源信息

数据源支持的版本驱动URLMaven
SqlServer
  • 服务器：2019（或更高版本，仅供参考）
com.microsoft.sqlserver.jdbc.SQLServerDriverjdbc:sqlserver://localhost:1433;databaseName=column_type_test下载

安装 Jdbc 驱动

请下载并将 SqlServer 驱动放在 ${SEATUNNEL_HOME}/lib/ 目录下。例如：cp mssql-jdbc-xxx.jar ${SEATUNNEL_HOME}/lib/

数据类型映射

SQL Server 数据类型SeaTunnel 数据类型
CHAR
VARCHAR
NCHAR
NVARCHAR
STRUCT
CLOB
LONGVARCHAR
LONGNVARCHAR
STRING
BLOBBYTES
INTEGERINT
SMALLINT
TINYINT
SMALLINT
BIGINTBIGINT
FLOAT
REAL
FLOAT
DOUBLEDOUBLE
NUMERIC
DECIMAL(column.length(), column.scale().orElse(0))
DECIMAL(column.length(), column.scale().orElse(0))
TIMESTAMPTIMESTAMP
DATEDATE
TIMETIME
BOOLEAN
BIT
BOOLEAN

源选项

名称类型必需默认值描述
username字符串是-连接数据库服务器时使用的用户名。
password字符串是-连接数据库服务器时使用的密码。
database-names列表是-需要监控的数据库名。
table-names列表是-表名为模式名和表名的组合（databaseName.schemaName.tableName）。
base-url字符串是-必须包含数据库的URL，如 "jdbc:sqlserver://localhost:1433;databaseName=test"。
startup.mode枚举否INITIALSqlServer CDC 消费者的可选启动模式，有效枚举为 "initial"、"earliest"、"latest" 和 "specific"。
startup.timestamp长整型否-从指定的纪元时间戳（以毫秒为单位）开始。
注意，当使用 "startup.mode" 选项为 'timestamp' 时，此选项是必需的。
startup.specific-offset.file字符串否-从指定的 binlog 文件名开始。
注意，当 "startup.mode" 选项使用 'specific' 时，此选项是必需的。
startup.specific-offset.pos长整型否-从指定的 binlog 文件位置开始。
注意，当 "startup.mode" 选项使用 'specific' 时，此选项是必需的。
stop.mode枚举否NEVERSqlServer CDC 消费者的可选停止模式，有效枚举为 "never"。
stop.timestamp长整型否-从指定的纪元时间戳（以毫秒为单位）停止。
注意，当 "stop.mode" 选项使用 'timestamp' 时，此选项是必需的。
stop.specific-offset.file字符串否-从指定的 binlog 文件名停止。
注意，当 "stop.mode" 选项使用 'specific' 时，此选项是必需的。
stop.specific-offset.pos长整型否-从指定的 binlog 文件位置停止。
注意，当 "stop.mode" 选项使用 'specific' 时，此选项是必需的。
incremental.parallelism整型否1增量阶段中并行读取器的数量。
snapshot.split.size整型否8096表快照的分割大小（行数），快照期间的表会被分割成多个分片进行读取。
snapshot.fetch.size整型否1024读取表快照时每次轮询的最大提取量。
server-time-zone字符串否UTC数据库服务器中的会话时区。
connect.timeout时长否30s连接器尝试连接到数据库服务器后等待超时的最大时间。
connect.max-retries整型否3连接器尝试建立数据库服务器连接的最大重试次数。
connection.pool.size整型否20连接池大小。
chunk-key.even-distribution.factor.upper-bound双精度浮点型否100分块键分布因子的上界。此因子用于判断表数据是否均匀分布。如果计算出的分布因子小于或等于此上界值（即 (MAX(id) - MIN(id) + 1) / 行数），则表分块将被优化为均匀分布。否则，如果分布因子更大，则表将被认为是不均匀分布的，并且如果估计的分片数超过 sample-sharding.threshold 指定的值，将使用基于抽样的分片策略。默认值为 100.0。
chunk-key.even-distribution.factor.lower-bound双精度浮点型否0.05分块键分布因子的下界。此因子用于判断表数据是否均匀分布。如果计算出的分布因子大于或等于此下界值（即 (MAX(id) - MIN(id) + 1) / 行数），则表分块将被优化为均匀分布。否则，如果分布因子更小，则表将被认为是不均匀分布的，并且如果估计的分片数超过 sample-sharding.threshold 指定的值，将使用基于抽样的分片策略。默认值为 0.05。
sample-sharding.threshold整型否1000触发抽样分片策略的估计分片数阈值。当分布因子超出 chunk-key.even-distribution.factor.upper-bound 和 chunk-key.even-distribution.factor.lower-bound 指定的范围，并且估计的分片数（计算为近似行数 / 分块大小）超过此阈值时，将使用抽样分片策略。这可以帮助更有效地处理大型数据集。默认值为1000分片。
inverse-sampling.rate整型否1000抽样分片策略中使用的抽样率的倒数。例如，如果这个值设置为1000，意味着抽样过程中应用了1/1000的抽样率。这个选项提供了在控制抽样粒度的灵活性，从而影响最终的分片数量。特别是在处理非常大的数据集时，更低的抽样率是首选。默认值为1000。
exactly_once布尔型否true启用精确一次语义。
debezium.*配置否-将Debezium的属性传递给用于从SqlServer服务器捕获数据变化的Debezium嵌入式引擎。
查看Debezium的SqlServer连接器属性获取更多信息
format枚举否DEFAULTSqlServer CDC 的可选输出格式，有效枚举为 "DEFAULT"、"COMPATIBLE_DEBEZIUM_JSON"。
common-options否-源插件的通用参数，请参考源通用选项获取详细信息。

任务示例

初始读取简单示例

这是一个流模式CDC初始化读取的示例，成功读取表数据后将进行增量读取。以下SQL DDL仅供参考。

env {
  # 在此处设置引擎配置
  execution.parallelism = 1
  job.mode = "STREAMING"
  execution.checkpoint.interval = 5000
}

source {
  # 仅用于测试和演示功能的示例源插件
  SqlServer-CDC {
    result_table_name = "customers"
    username = "sa"
    password = "Y.sa123456"
    startup.mode="initial"
    database-names = ["column_type_test"]
    table-names = ["column_type_test.dbo.full_types"]
    base-url = "jdbc:sqlserver://localhost:1433;databaseName=column_type_test"
  }
}

transform {
}

sink {
  console {
    source_table_name = "customers"
  }

增量读取简单示例

这是一个增量阅读示例，用于阅读变更数据并打印。

env {
  # 在此处设置引擎配置
  execution.parallelism = 1
  job.mode = "STREAMING"
  execution.checkpoint.interval = 5000
}

source {
  # 仅用于测试和演示功能的示例源插件
  SqlServer-CDC {
    # 设置精确一次读取
    exactly_once=true 
    result_table_name = "customers"
    username = "sa"
    password = "Y.sa123456"
    startup.mode="latest"
    database-names = ["column_type_test"]
    table-names = ["column_type_test.dbo.full_types"]
    base-url = "jdbc:sqlserver://localhost:1433;databaseName=column_type_test"
  }
}

transform {
}

sink {
  console {
    source_table_name = "customers"
  }
}

随着数据处理需求的不断增长和实时数据同步的重要性日益凸显，SqlServer CDC 源连接器在 SeaTunnel 生态系统中扮演着至关重要的角色。

通过本文的深入解析，我们希望您能够更好地理解并利用这一强大工具，从而实现数据流的高效、稳定和精准同步。

无论您是数据工程师、系统架构师还是业务分析师，掌握如何在 SeaTunnel 中部署和优化 SQL Server CDC 连接器，都将为您的数据处理能力带来显著提升。

本文由 白鲸开源科技 提供发布支持！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/199842.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Spring Boot进行单元测试，一个思路解决重启低效难题！

Spring Boot进行单元测试，一个思路解决重启低效难题！

所谓单元测试就是对功能最小粒度的测试，落实到JAVA中就是对单个方法的测试。 junit可以完成单个方法的测试，但是对于Spring体系下的web应用的单元测试是无能为力的。因为spring体系下的web应用都采用了MVC三层架构，依托于IOC，层级…
阅读更多...
【AIGC】关于Prompt你必须知道的特性

【AIGC】关于Prompt你必须知道的特性

代码和数据:https://github.com/tonyzhaozh/few-shot-learning 一、实践验证的大模型的特性 1. 大模型的偏差 示例：（文本的情感分析：一句话->P(积极）或者N（消极) Input: I hate this movie. Sentiment: Negativ…
阅读更多...
线下渠道应该如何控价

线下渠道应该如何控价

品牌渠道中的问题，大多跟价格有关，比如低价、窜货、假货，治理好这些价格问题，也就是在解决渠道中的低价问题，所以要先了解价格，再进行治理，这样的流程化操作，可以使品牌管控好渠道价…
阅读更多...
unity的多语言配置工具

unity的多语言配置工具

demo下载:https://github.com/JSumC/LanguageExcel using System; using System.Collections.Generic; using System.IO; using System.Linq; using OfficeOpenXml; using UnityEngine; using UnityEngine.UI; namespace LanguageExcel {public class LETool : MonoBehaviour{…
阅读更多...
cpu飙升问题排查以及解决

cpu飙升问题排查以及解决

1、查看内存占用排行 top -c 2、查看服务器内存使用情况 free -h 3、查看文件夹磁盘空间大小 Linux 查看各文件夹大小命令du -h --max-depth1 (1)查看文件目录一级目录磁盘空间 du -h --max-depth1 (2）查看指定文件目录 du sh home --max-depth2 4、Linux下…
阅读更多...
苹果手机怎么卸载微信？记得掌握这两种方法！

苹果手机怎么卸载微信？记得掌握这两种方法！

微信是一款社交应用程序，在聊天过程中，我们会经常发送和接收各种形式的信息。随着时间的推移，微信缓存的文件会越来越多，占用的存储空间也会逐渐增加。 卸载微信可以释放手机内存，提高手机的运行速度。那么&#xff0…
阅读更多...
揭秘Git高手的10个秘密武器：让你的工作效率飙升！

揭秘Git高手的10个秘密武器：让你的工作效率飙升！

Git和GitHub是每个软件工程师都必须了解的最基本的工具。它们是开发人员日常工作不可或缺的一部分，每天都要与之互动。 精通Git不仅能简化你的日常操作，还能显著提高生产力。在这篇文章中，我们将探讨一组能够极大提升生产力的命令。 随着对…
阅读更多...
运维笔记111

运维笔记111

运维笔记 Navicat中查询指定字段名所在的表名tomcat设置JVM的初始堆内存修改catalina.sh文件修改完保存并关闭tomcat启动tomcat 查询数据库连接数查询是否存在死锁 Navicat中查询指定字段名所在的表名 SELECT * FROM information_schema.COLUMNS WHERE COLUMN_NAME‘替换成你要…
阅读更多...
基于加拿大降水分析 (CaPA) 系统的北美区域确定性降水数据集

基于加拿大降水分析 (CaPA) 系统的北美区域确定性降水数据集

区域确定性降水分析 (RDPA) 基于加拿大降水分析 (CaPA) 系统的区域确定性降水分析 (RDPA) 的域与业务区域模式相对应，即区域确定性预报系统 (RDPS-LAM3D)，但太平洋地区除外其中 RDPA 域的西边边界相对于区域模型域稍微向东移动。RDPA 分析的分辨率与运行…
阅读更多...
宋仕强论道之华强北的商业配套（十三）

宋仕强论道之华强北的商业配套（十三）

宋仕强论道之华强北的商业配套（十三）：金航标电子萨科微半导体总经理宋仕强先生发布“宋仕强论道”系列视频，分享多年学习、生活和工作经验和感悟，甚至涵盖了文学、艺术、哲学、宗教。这段时间发表的是对华强北&#xf…
阅读更多...
如何与LEONI建立EDI连接？

如何与LEONI建立EDI连接？

莱尼LEONI是一家为汽车及其他行业提供能源数据管理产品、解决方案及服务的全球供应商。供应链范围从研发生产标准化电缆、特种电缆和数据电缆到高度复杂的布线系统和相关组件。本文将介绍如何与莱尼LEONI建立EDI连接。 什么是EDI？ EDI全称Electronic Data Interch…
阅读更多...
LeetCode.24两两交换链表中的节点

LeetCode.24两两交换链表中的节点

LeetCode.24两两交换链表中的节点 1.问题描述2.解题思路3.代码 1.问题描述 给你一个链表，两两交换其中相邻的节点，并返回交换后链表的头节点。你必须在不修改节点内部的值的情况下完成本题（即，只能进行节点交换）。 示…
阅读更多...
孩子写作业用的护眼灯哪种好？适合考研的护眼台灯推荐

孩子写作业用的护眼灯哪种好？适合考研的护眼台灯推荐

随着现在小孩子的近视率越来越高，全国中小学生近视比率占大多数，许多家长也开始为孩子的健康成长而担忧，这时很多家长就会选择护眼台灯来为孩子保驾护航。但面对市面上五花八门的台灯品牌，各式各样的台灯许多家长却乱了阵脚&#…
阅读更多...
vue elementUI 自定义框组织树，选择select下拉组织树横行滑动条出现方法

vue elementUI 自定义框组织树，选择select下拉组织树横行滑动条出现方法

背景&#xff1a;最近公司开发需要使用到组织树进行组织结构的选择&#xff0c;在开发途中遇到两个次组织树已超过外框&#xff0c;但超出部分不显示横向滑动条。 自定义组织树框代码如下&#xff1a; <el-row><el-col :span"20" style"padding: 0px…
阅读更多...
【前端】three.js

【前端】three.js

文章目录 概述three.js-master目录结构Threejs 的基本要素场景相机透视相机正交相机 网格2d3d 灯光AmbientLight(环境光)平行光&#xff08;DirectionalLight&#xff09;点光源&#xff08;PointLight&#xff09;聚光灯&#xff08;SpotLight&#xff09; 渲染器 Threejs 的实…
阅读更多...
Scrum敏捷开发流程及支撑工具

Scrum敏捷开发流程及支撑工具

Scrum是一种敏捷开发框架&#xff0c;用于管理复杂的项目。以下这些步骤构成了Scrum敏捷开发流程的核心。通过不断迭代、灵活应对变化和持续反馈&#xff0c;Scrum框架帮助团队快速交付高质量的产品。 以下是Scrum敏捷开发流程的基本步骤&#xff1a; 产品Backlog创建&#xf…
阅读更多...
Python 图形用户界面详解（GUI，Tkinter）

Python 图形用户界面详解（GUI，Tkinter）

文章目录 1 概述1.1 TK&#xff1a;窗口1.2 官方文档 2 组件2.1 Label&#xff1a;标签2.2 Button&#xff1a;按钮2.3 Entry&#xff1a;输入2.4 Text&#xff1a;文本2.5 Radiobutton&#xff1a;单选框2.6 Checkbutton&#xff1a;复选框2.7 Canvas&#xff1a;画布2.10 Men…
阅读更多...
skywalking告警qq邮箱发送

skywalking告警qq邮箱发送

首先开启发送接收qq邮箱的权限 开启之后&#xff0c;会让你发送信息&#xff0c;按着一系列操作&#xff0c;获得password &#xff08;授权码&#xff08;例如&#xff0c;qq开启SMTP授权码&#xff0c;qq授权码16位&#xff09;&#xff09; <!-- mail邮箱-->…
阅读更多...
基于STM32单片机的智能家居系统设计（论文+源码）

基于STM32单片机的智能家居系统设计（论文+源码）

1.系统设计 基于STM32单片机的智能家居系统设计与实现的具体任务&#xff1a; &#xff08;1&#xff09;可以实现风扇、窗帘、空调、灯光的开关控制&#xff1b; &#xff08;2&#xff09;具有语音识别功能&#xff0c;可以通过语音控制家电&#xff1b; &#xff08;3&a…
阅读更多...
第二证券：机构密集调研消费电子、半导体产业链

第二证券：机构密集调研消费电子、半导体产业链

据上海证券报记者核算&#xff0c;近一个月来&#xff0c;共有41家消费电子类公司和92家半导体公司&#xff08;核算标准&#xff1a;申万职业2021&#xff0c;下同&#xff09;发布出资者调研纪要。其间&#xff0c;有的公司款待了16个批次估计超200家安排&#xff0c;更有公司…
阅读更多...
最新文章

Copyright @ 2022~2023