TapData 发布官方性能测试报告,针对各流行数据源,在多项指标中表现拔群

近日,TapData 官方发布了最新的性能测试报告,该报告详细展示了 TapData v3.5.13 在各种数据源下的性能表现,包括全量同步、增量同步、读写延迟等关键性能指标。

随着企业对实时数据集成和处理能力需求的提升,TapData 凭借其高效、稳定的系统架构,逐渐成为行业中的领先解决方案。为了帮助大家更好地了解 TapData 的性能表现,我们着手推进了多场景、多维度的性能测试。通过这些测试,TapData 展现出卓越的性能和处理能力,能够轻松应对大规模数据集成的复杂场景。

本次测试涵盖了多种主流数据源,包括 Oracle、MySQL、Kafka、MongoDB、PostgreSQL 等,具体涉及以下几个方面:

  1. 全量同步性能:测试 TapData 在处理大量数据时的吞吐量及效率,例如 Oracle 到 ClickHouse 的全量同步吞吐达到了 250k RPS,而 Kafka 到 ClickHouse 的吞吐表现高达 210k RPS。
  2. 增量同步性能:评估 TapData 的实时数据同步能力,尤其是在高并发和数据变化频繁的情况下。测试显示,TapData 的增量同步在 MongoDB 环境下,增量读取的吞吐量达到 19k RPS,延迟保持在 1 秒以内,极大保障了实时数据更新的需求。
  3. 读写延迟及处理能力:报告对 TapData 在不同数据库间的读写延迟进行了详细分析。以 Oracle 数据源为例,增量同步的延迟在 LogMiner 模式下保持在 3 秒内,而直接日志解析模式下的增量读取吞吐量达到 62k RPS。

除此之外,测试还评估了 TapData 的高并发处理能力和系统的扩展性表现。通过对处理器和引擎的优化,TapData 在 1KB 数据场景下实现了高达 450k RPS 的引擎性能。同时,测试报告还揭示了在复杂数据处理场景下,TapData 系统如何保持稳定高效的运行表现。

测试说明

测试范围包括同步引擎自身的性能测试,不同数据库之间同步数据的速度和延迟,以及增加处理器后的性能表现,包括:

  1. 评估同步引擎的极限吞吐
  2. 以 Oracle 为例,测试 TapData 对传统 SQL 类数据源的全量读取吞吐,增量读取延迟,与全量、增量(混合写入) 吞吐性能
  3. 以 ClickHouse 为例,测试 TapData 对数仓的读写性能,包括全量吞吐与增量吞吐
  4. 以 MongoDB 为例,测试 TapData 对 NoSQL 数据库的全量读取吞吐,增量读取延迟,与全量/增量(混合写入)吞吐性能
  5. 以 Kafka 为例,测试 Tapdata 对消息队列的全量读取吞吐与写入吞吐性能
  6. 评估常见数据源,包括 MySQL、PostgreSQL 等的同步性能,包括做源时的全量读取吞吐,增量吞吐与延迟,做目标时的全量写入吞吐,增量(混合)写入吞吐
  7. 评估常见处理器的处理速度
  8. 评估多字段时性能表现情况

结果概览

本次性能测试的关键结果如下:
在这里插入图片描述

*备注:

  • TapData 有两个 Oracle 连接器,有两种不同的 CDC(变更数据捕获) 实现,分别为“Direct”和“Logminer”
  • Kafka 连接器不适用 CDC,因为 Kafka 是一个数据流平台而不是数据库
  • ClickHouse 不支持 CDC,并且对更新的支持有限
  • 单位以每秒打点为单位,其中每条记录约有 50 个字段,共 1kb 的数据
  • 全量同步是指从源端读取所有数据并插入到目标端的初始过程
  • 增量是指 CDC 捕获增量插入、更新和删除,然后相应地更新目标

端到端完全同步性能结果

  • Kafka 到 ClickHouse(全量同步):210k
  • Oracle 到 ClickHouse(全量同步):210k
  • Oracle 到 Kafka(全量同步):62k

本次报告的发布旨在评估 TapData 在数据复制能力上的整体性能表现,并提供一个基准测试报告,供有需要的用户做需求选型使用。而这份报告不仅为正在使用 TapData 的用户提供参考,还为计划引入实时数据集成平台方案或工具的用户提供了清晰的性能参照。通过该报告,您可以了解在大数据环境下 TapData 的实际性能表现,并为您的业务需求选择最合适的解决方案。

TapData 将持续致力于推动数据集成技术的创新,为客户提供更强大的数据管理和处理能力。

完整报告已上传至 TapData 官网,欢迎大家查阅。如有任何问题或建议,请随时与我们联系!

推荐阅读】:

  • 制造业数字化转型创新思路 |《数智新时代制造业数字化创新实践白皮书》上线!
  • TapData 信创数据源 | 国产信创数据库 OceanBase数据同步指南,加速国产化进程,推进自主创新建设
  • TapData 信创数据源 | 国产信创数据库 TiDB数据迁移指南,加速国产化进程,推进自主创新建设
  • TapData 信创数据源 |国产信创数据库达梦(Dameng)数据迁移指南,加速国产化进程,推进自主创新建设
  • ETL vs. ELT:数据集成的最佳实践是什么?

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/910999.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

JDK1.5 java代码打包jar HmacSha256

文章目录 demo地址背景实现编写代码编译class文件打包 JAR 文件执行生成的 JAR 文件辅助验证方式 常见问题和解决方法常规生成jar方案maven插件idea工具 demo地址 https://github.com/xiangge-zx/HmacSha256 背景 最近接到一个需求,做一个可以用来HmacSha256加密的小工具&am…

【Python TensorFlow】进阶指南

在前文中,我们介绍了TensorFlow的基础知识及其在实际应用中的初步使用。现在,我们将进一步探讨TensorFlow的高级特性,包括模型优化、评估、选择、高级架构设计、模型部署、性能优化等方面的技术细节,帮助读者达到对TensorFlow的精…

Vue实现登录功能

一、Vue登录逻辑梳理: 1、登录流程: 用户在前端输入用户名和密码,点击登录按钮。 登录成功后的逻辑: 主要功能和流程: 异步函数 signInSuccess:这是一个异步函数,使用了 async 关键字&#xff…

「Mac畅玩鸿蒙与硬件26」UI互动应用篇3 - 倒计时和提醒功能实现

本篇将带领你实现一个倒计时和提醒功能的应用,用户可以设置倒计时时间并开始计时。当倒计时结束时,应用会显示提醒。该项目涉及时间控制、状态管理和用户交互,是学习鸿蒙应用开发的绝佳实践项目。 关键词 UI互动应用倒计时器状态管理用户交互…

(62)使用RLS自适应滤波器进行系统辨识的MATLAB仿真

文章目录 前言一、基本概念二、RLS算法原理三、RLS算法的典型应用场景四、MATLAB仿真代码五、仿真结果1.滤波器的输入信号、参考信号、输出信号、误差信号2.对未知系统进行辨识得到的系数 总结与后续 前言 RLS(递归最小二乘)自适应滤波器是一种用于系统…

Oracle 12C安装教程

Oracle 12c,全称Oracle Database 12c,是Oracle 11g的升级版,新增了很多新的特性。 Oracle 12c下载 打开Oracle的官方中文网站,选择相应的版本即可。 下载地址:http://www.oracle.com/technetwork/cn/database/enterp…

探索空间计算与 VR 设备的未来:4K4DGen 高分辨率全景 4D 内容生成系统

在当今科技飞速发展的时代,空间计算和 VR 设备正逐渐成为人们体验沉浸式场景的重要工具。而今天,我们要为大家介绍一款具有创新性的技术 ——4K4DGen 高分辨率全景 4D 内容生成系统,它为 VR/AR 沉浸式体验带来了全新的可能性。 一、项目概述 4K4DGen 项目的核心目标是实现 …

【无标题】项目管理软件:日常任务管理,TODO任务清单

无论是在工作、学习还是个人事务的处理上,我们都面临着众多的任务和事项。而 TODO 任务管理,可以帮助我们高效、有序的完成工作任务。 TODO 任务管理的重要性: TODO 任务管理不仅仅是简单地列出要做的事情,它是一种系统性的方法…

数据库中的用户管理和权限管理

​ 我们进行数据库操作的地方其实是数据库的客户端,是我们在客户端将操作发送给数据库的服务器(MySQL的服务器是mysqld),由数据库处理之后发送回来处理结果(其实就是一种网络服务)。所以可以存在多个客户端…

HTML 块级元素和内联(行内)元素详解

在 HTML 中,元素根据它们在页面中的表现方式分为两类:块级元素 和 内联元素(行内元素)。了解块级元素和内联元素的特性与使用方法,是掌握HTML开发的重要基础。本文将深入探讨这两类元素的特点及其在实际开发中的应用。 文章目录 一、块级元素1.1 块级元素是什么?1.2 块级…

科研绘图系列:R语言差异分析双侧柱状图(grouped barplot)

文章目录 介绍加载R包数据画图系统信息介绍 双侧柱状图(grouped barplot),也称为分组柱状图,是一种用于展示不同组别之间比较的数据可视化图表。它通过将不同组别的柱状图并排放置,可以直观地比较不同组在各个类别上的表现或特征。以下是双侧柱状图的一些关键特点和用途:…

【数据结构】哈希/散列表

目录 一、哈希表的概念二、哈希冲突2.1 冲突概念2.2 冲突避免2.2.1 方式一哈希函数设计2.2.2 方式二负载因子调节 2.3 冲突解决2.3.1 闭散列2.3.2 开散列(哈希桶) 2.4 性能分析 三、实现简单hash桶3.1 内部类与成员变量3.2 插入3.3 获取value值3.4 总代码…

Go语言基础语法

一、创建工程 说明: (1)go.mod文件是go项目依赖管理文件,相当于前端的package.json,也就是Java项目中的Maven的pom.xml。 二、打印数据到控制台 (1)引入fmt (2)使用fmt…

class com.alibaba.fastjson2.JSONObject cannot be cast to class com.ruoyi.sys

class com.alibaba.fastjson2.JSONObject cannot be cast to class com.ruoyi.sys ry-cloud报错原因解决 ry-cloud 报错 系统监控→在线用户打开后报错 报错信息如下 class com.alibaba.fastjson2.JSONObject cannot be cast to class com.ruoyi.sys原因 type导致&#xff…

用 Python 从零开始创建神经网络(一)

用 Python 从零开始创建神经网络(一) 引言1. A Single Neuron:Example 1代码部分: Example 2代码部分: 2. A Layer of Neurons:Example 1代码部分: 引言 本教程专为那些对神经网络已有基础了解…

双指针算法习题解答

1.移动零 题目链接:283. 移动零 - 力扣(LeetCode) 题目解析:该题要求将数组中为0的元素全部转移到数组的末尾,同时不能改变非零元素的相对位置。 解题思路:我们可以用变量dest和cur将该数组分为三个区域。…

思源笔记轻松连接本地Ollama大语言模型,开启AI写作新体验!

文章目录 前言1. 下载运行Ollama框架2. Ollama下载大语言模型3. 思源笔记设置连接Ollama4. 测试笔记智能辅助写作5. 安装Cpolar工具6. 配置Ollama公网地址7. 笔记设置远程连接Ollama8. 固定Ollama公网地址 前言 今天我们要聊聊如何通过cpolar内网穿透技术,把国产笔…

SAP ABAP开发学习——WDA 五 使用表格控件实例

目录 实现 先建一个Web Dynpro Component 将两个view关联 input_view中添加按钮 output_view创建按钮 创建一个服务 input_view中使用向导创建两个输入框 output部分创建输出表单 output inbound 创建APPLICATION 效果 实现 先建一个Web Dynpro Component 将两个vi…

qt QCompleter详解

1、概述 QCompleter是Qt框架中的一个类,用于为文本输入提供自动完成功能。它可以与Qt的输入控件(如QLineEdit、QTextEdit等)结合使用,根据用户的输入实时过滤数据源,并在输入控件下方或内部显示补全建议列表。用户可以…

数据采集-Kepware连接倍福(Beckhoff)PLC(OPCUA协议)

KepserverEX 连接倍福(beckhoff)-ADS协议 系列文章目录 数据采集-Kepware 安装证书异常处理 数据采集-Kepware OPCUA 服务器实现 数据采集-Kepware连接倍福(Beckhoff)PLC(ADS协议) 目录 KepserverEX 连接倍福(beckhoff)-ADS协议系列文章目录前言一、OPC UA(OPC统一…