Apache SeaTunnel 2.3.9 正式发布:多项新特性与优化全面提升数据集成能力

近日,Apache SeaTunnel 社区正式发布了最新版本 2.3.9。本次更新新增了Helm 集群部署、Transform 支持多表、Zeta新API、表结构转换、任务提交队列、分库分表合并、列转多行 等多个功能更新!

file

作为一款开源、分布式的数据集成平台,本次版本通过新增功能、性能优化与问题修复,为开发者与企业用户带来了更加全面的支持。

📥 2.3.9版本下载:https://seatunnel.apache.org/download/

📕 Release Note:https://github.com/apache/seatunnel/tree/2.3.9

👇👇重要功能解读,可以观看视频👇👇

版本亮点

扩展数据处理与监控能力

任务与数据监控

  • 新增Zeta 新API支持通过 REST API 提交任务并获取日志、任务日志淘汰,提供Zeta Manager UI实时可视化功能。
  • Zeta 支持提交任务排队、Rest API 提交 Hocon 格式作业配置、支持 DDL 期间暂停恢复
  • Schema 演进
    • 多个连接器(如 Oracle、StarRocks、Paimon 等)新增对 Schema Evolution(Schema 演进)的支持,进一步降低复杂数据源集成的门槛。

功能增强

  • Transform提供对多表支持、动态类型处理以及合并分库分表等新能力,为复杂数据转换场景提供灵活性。
  • Transform 支持分库分表合并
  • Transform 支持改表名/字段名
  • 支持RowKindExtractor转换操作类型
  • 支持SQL 中列转多行

多源适配

  • 扩展了对新数据源的支持,例如 Milvus 动态 Schema、多表读取和 Redis 数据删除操作等。

大幅提升任务运行效率

  • 资源调度与线程池管理
    • 优化 Zeta 引擎的 CoordinatorService 线程池配置,避免潜在的内存溢出问题。
  • 任务执行模式
    • 支持 Spark 与 Flink 、 Zeta的多表 Transform,减少任务间依赖,提升并发性能。
    • 支持 Oracle-CDC 读取 DDL。
    • Debezium 增强,支持发送到消息队列进行缓冲,支持特殊数据类型及时间类型,可通过多表/表写1个Topic。
  • 数据流传输
    • 改进了 ClickHouse、JDBC 等连接器的写入模式,提升大数据量处理场景的稳定性。

新增 DDL Sink 支持

连接器PR作者
StarRocks#8082jw-itq
Paimon#8211dailai
Oracle#7908dailai
Doris#8250deng-jeffer
Postgresql#8276hawk9821
Elasticsearch#8412zhangshenghang

Bug 修复与可靠性提升

  • 支持 Helm 快速部署集群
  • 修复了多项连接器相关问题,如 MongoDB、Kafka、Hive 等连接器的异常处理和功能失效问题。
  • 改善了 Avro 格式对 Null 值的支持,解决了 Excel 数据读取的公式与数值解析错误。
  • 优化了 Docker 部署与 CI 流程,确保系统在不同环境中的一致性。

致谢贡献者

感谢Tyrantlucifer对本次发版工作的指导和帮助,同时感谢以下社区贡献者的共同努力,让本次发版工作顺利完成:

Github IDGithub IDGithub IDGithub ID
Asura7969Cancai CaiCarl-Zhou-CNCosmosNi
Daniel DuanDavid ZolloGuangdong LiuGumKey
JarvisJastJeremyJia Fan
Mohammad ArshadNian LiuNovaOdysseus Zhang
QiaoJ-ChenSEZShashwat TiwariShiwanming
Tu-maimesTyrantluciferWanming ShiXQ
Xiaojian SunYOMO LEEZhilin Licorgy-w
czsdaigoopautoydailaideng-jeffer
dependabot[bot]dwaveeyysfcb-xiaobo
hailin0happyboy1024liminlinjianchang
litiliuluckyLJYpi-lasohurdc
tyrantluciferwelsh-wenwengysxiaochen
zhangdonghaozhouyh不忘初心丑西蒙
峰峰老王

Apache SeaTunnel 2.3.9 的发布标志着其在开源数据集成领域的进一步突破。无论是实时数据同步、批流一体化任务处理,还是复杂场景下的 Schema 管理与性能优化,SeaTunnel 都为用户提供了更强大的工具。

作为一个快速发展的 Apache 顶级项目,SeaTunnel 一直秉承社区驱动与开源精神。欢迎广大开发者与企业用户参与社区贡献,共同完善和推广这一数据集成利器。

关于白鲸开源

白鲸开源是一家开源原生的 DataOps 商业公司,已基于Apache SeaTunnel 开发的并推出了商业版软件 WhaleTunnel,提供企业级功能增强、服务、运维、Debug、定期漏洞扫描和修复,无论是产品功能、稳定性、兼容性、速度还是安全性,都比开源版 Apache SeaTunnel 有巨大的进步!感兴趣的小伙伴可以下滑添加市场经理详细咨询~

联系方式

公司网站: www.whaleops.com
联系邮箱: zenghui@whaleops.com

下滑探索更多WhaleTunnel的优势,让我们帮助你构建一个高效、安全的大数据解决方案。🚀

本文由 白鲸开源科技 提供发布支持!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/957008.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

mybatis的多对一、一对多的用法

目录 1、使用VO聚合对象(可以解决这两种情况) 多对一: 一对多: 2、非聚合的多对一做法: 3、非聚合的一对多做法: 1、使用VO聚合对象(可以解决这两种情况) 当我需要多对一、一对…

SpringCloud系列教程:微服务的未来(十四)网关登录校验、自定义过滤器GlobalFilter、GatawayFilter

前言 在微服务架构中,API 网关扮演着至关重要的角色,负责路由请求、执行安全验证、流量控制等任务。Spring Cloud Gateway 作为一个强大的网关解决方案,提供了灵活的方式来实现这些功能。 本篇博客将重点介绍如何在 Spring Cloud Gateway 中…

服务化架构 IM 系统之应用 MQ

在微服务化系统中,存在三个最核心的组件,分别是 RPC、注册中心和MQ。 在前面的两篇文章(见《服务化架构 IM 系统之应用 RPC》和《服务化架构 IM 系统之应用注册中心》)中,我们站在应用的视角分析了普适性的 RPC 和 注…

Linux-C/C++--深入探究文件 I/O (上)(文件的管理、函数返回错误、exit()、_Exit()、_exit())

经过上一章内容的学习,相信各位读者对 Linux 系统应用编程中的基础文件 I/O 操作有了一定的认识和理解了,能够独立完成一些简单地文件 I/O 编程问题,如果你的工作中仅仅只是涉及到一些简单文件读写操作相关的问题,其实上一章的知识…

内网渗透测试工具及渗透测试安全审计方法总结

1. 内网安全检查/渗透介绍 1.1 攻击思路 有2种思路: 攻击外网服务器,获取外网服务器的权限,接着利用入侵成功的外网服务器作为跳板,攻击内网其他服务器,最后获得敏感数据,并将数据传递到攻击者&#xff0…

豆包MarsCode:小C点菜问题

问题描述 思路分析 这道题的核心任务是找出所有不超过给定价格 m 的菜肴中,最常见的菜肴价格,最后返回该价格的出现次数。 1. 题意理解: 给定一个最大价格 m,小C只会选择价格不超过 m 的菜。菜单上有 n 道菜,每道菜…

从Windows通过XRDP远程访问和控制银河麒麟ukey v10服务器,以及多次连接后黑屏的问题

从Windows通过XRDP远程访问和控制银河麒麟ukey v10服务器,以及多次连接后黑屏的问题。 安装 rdp 服务: yum install -y epel-release yum install -y xrdp或者如下: 可以通过下载rpm软件包,然后rpm方式安装。访问xrdp官网https…

【PowerQuery专栏】实现JSON数据的导入

Json 格式数据是在互联网数据格式传输使用的非常频繁的一类数据,图7.44为Json数据格式中比较典型的数据格式。 PowerQuery进行Json数据解析使用的是Json.Document进行数据解析,Json.Document目前有2个参数。 参数1为内容数据,数据类型为二进制类型,值为需要解析的Json数据参…

Java基础(3)

Java 数据类型详解 九、运算符 1. 基本运算符 Java 提供了多种运算符来执行不同的操作: 算术运算符:(加)、-(减)、*(乘)、/(除)、%(取模&…

PostgreSQL学习笔记:PostgreSQL vs MySQL

PostgreSQL 和 MySQL 都是广泛使用的关系型数据库管理系统,它们有以下一些对比: 一、功能特性 1. 数据类型支持 PostgreSQL:支持丰富的数据类型,包括数组、JSON、JSONB、范围类型、几何类型等。对于复杂数据结构的存储和处理非…

Linux下PostgreSQL-12.0安装部署详细步骤

一、安装环境 postgresql-12.0 CentOS-7.6 注意:确认linux系统可以正常连接网络,因为在后面需要添加依赖包。 二、pg数据库安装包下载 下载地址:PostgreSQL: File Browser 选择要安装的版本进行下载: 三、安装依赖包 在要安…

C语言内存之旅:从静态到动态的跨越

大家好,这里是小编的博客频道 小编的博客:就爱学编程 很高兴在CSDN这个大家庭与大家相识,希望能在这里与大家共同进步,共同收获更好的自己!!! 本文目录 引言正文一 动态内存管理的必要性二 动态…

[STM32 HAL库]串口中断编程思路

一、前言 最近在准备蓝桥杯比赛(嵌入式赛道),研究了以下串口空闲中断DMA接收不定长的数据,感觉这个方法的接收效率很高,十分好用。方法配置都成功了,但是有一个点需要进行考虑,就是一般我们需要…

PyTorch使用教程(10)-torchinfo.summary网络结构可视化详细说明

1、基本介绍 torchinfo是一个为PyTorch用户量身定做的开源工具,其核心功能之一是summary函数。这个函数旨在简化模型的开发与调试流程,让模型架构一目了然。通过torchinfo的summary函数,用户可以快速获取模型的详细结构和统计信息&#xff0…

Java模拟路由协议-rip(路由器仿真实验)

前言: 好久不见,有段时间没有写文章了,本篇文章,由Blue我带大家来复现rip协议。我们以 b站湖南教师匠所讲rip的视频中的例子为我这篇文章所模拟的路由路径 如图: 模拟路径 视频:http://【深入浅出计算机网络…

32V/4A,降压DCDC转换器CP8384百分百占空比输出ESOP8封装,可适用HUB等电路设计

特点: ● Supply Voltage Range: 4.1V~32V ● Input voltage up to 40V ● 4A Continuous Output Current ● Up to 95% Output Efficiency ● CC/CV control ● 350kHz Switching Frequency ● Built-in Soft Start ● 100% Maximum Duty Cycle ● No External Com…

缓存、数据库双写一致性解决方案

双写一致性问题的核心是确保数据库和缓存之间的数据同步,以避免缓存与数据库数据不同步的问题,尤其是在高并发和异步环境下。本文将探讨双写一致性面临的主要问题和解决方案,重点关注最终一致性。 本文讨论的是最终一致性问题 双写一致性面…

【学习笔记15】如何在非root服务器中,安装属于自己的redis

一、下载安装包 官网下载黑马程序员给的安装包(redis-6.2.6) 二、将安装包上传至服务器 我将安装包上传在我的文件夹/home/XXX,指定路径中/src/local/redis/,绝对路径为/home/XXX/src/local/redis/解压安装包 XXXomega:~$ cd …

计算机网络 (51)鉴别

前言 计算机网络鉴别是信息安全领域中的一项关键技术,主要用于验证用户或信息的真实性,以及确保信息的完整性和来源的可靠性。 一、目的与重要性 鉴别的目的是验明用户或信息的正身,对实体声称的身份进行唯一识别,以便验证其访问请…

【大模型】ChatGPT 高效处理图片技巧使用详解

目录 一、前言 二、ChatGPT 4 图片处理介绍 2.1 ChatGPT 4 图片处理概述 2.1.1 图像识别与分类 2.1.2 图像搜索 2.1.3 图像生成 2.1.4 多模态理解 2.1.5 细粒度图像识别 2.1.6 生成式图像任务处理 2.1.7 图像与文本互动 2.2 ChatGPT 4 图片处理应用场景 三、文生图操…