MySQL不同插入方式性能对比实验

最近负责的项目需要数据同步入库MySQL，为了测速那种入库方式效率比较高，为此进行了以下的对比实验，在此记录一下

实验表单数据格式

在这里插入图片描述
在这里插入图片描述

实验代码

共三种方法对比
在这里插入图片描述

mutiSqlInsert:

一条一条插入，最后一次提交

在这里插入图片描述

singleSqlInsert：

用for循环拼接好插入sql，一次执行

在这里插入图片描述

executeBatchInsert：

使用MySQL提供的方法executeBatch()，同样使用一次提交
在这里插入图片描述

实验结果

1W条数据插入

mutiSqlInsert
在这里插入图片描述

singleSqlInsert
在这里插入图片描述

executeBatchInsert

在这里插入图片描述

10W条数据插入

mutiSqlInsert
在这里插入图片描述

singleSqlInsert
在这里插入图片描述

executeBatchInsert
在这里插入图片描述

2000条数据插入(当前kafka设置的单次最大拉取数为2000)

Kafka配置截图
在这里插入图片描述

mutiSqlInsert
在这里插入图片描述

singleSqlInsert
在这里插入图片描述

executeBatchInsert

在这里插入图片描述

结论

在一次性拉取数据较少时，mutiSqlInsert和executeBatchInsert的性能相差不大
当一次性插入数据非常多时，比如10W条，singleSqlInsert的性能会急剧下降，甚至不如mutiSqlInsert

关于10W条数据插入时singleSqlInsert的性能会急剧下降的原因，参考此文
https://blog.csdn.net/Tom_sensen/article/details/127922964

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/338941.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

黑马苍穹外卖Day10学习

黑马苍穹外卖Day10学习

文章目录 Spring Task介绍cron表达式入门案例 订单状态定时处理需求分析代码开发功能测试 WebSocket介绍入门案例 来单提醒需求分析代码开发 客户催单需求分析代码开发 Spring Task 介绍 cron表达式 入门案例 订单状态定时处理 需求分析 代码开发 新建一个task包里面编写代码…
阅读更多...
像 Google SRE 一样 OnCall

像 Google SRE 一样 OnCall

在 Google SRE 的著作《Google运维解密》(原作名：Site Reliability Engineering: How Google Runs Production Systems)中，Google SRE 的关键成员们几乎不惜用了三个章节的篇幅描述了在 Google 他们是如何 OnCall 的。 Google SRE 实践中，有…
阅读更多...
HFSS笔记/信号完整性分析（二）——软件仿真设置大全

HFSS笔记/信号完整性分析（二）——软件仿真设置大全

文章目录 1、多核运算设置1.1 如何设置1.2 如何查看自己电脑的core呢？1.3 查看求解的频点 2、求解模式设置Driven Terminal vs Driven modal 3、Design settings4、自适应网格划分5、更改字体设置 仅做笔记整理与分享。 1、多核运算设置 多核运算只对扫频才有效果&…
阅读更多...
Django 图片上传与下载

Django 图片上传与下载

写在前面 在Web开发中，文件上传和下载是常见的功能之一。 Django 是一位魔法师🪄，为我们提供了 FileField 和 ImageField 等神奇得字段类型，以及相应的视图和模板标签，使得处理文件变得十分便捷。本文以图片上传作为…
阅读更多...
GPT-4 的决策在股市中进行量化投资

GPT-4 的决策在股市中进行量化投资

论文题目:Can Large Language Models Beat Wall Street? Unveiling the Potential of AI in Stock Selection 论文链接:https://arxiv.org/abs/2401.03737 博客地址:https://www.marketsense-ai.com/ 从本质上来说，股票选择是个价格发现机制，在股票投…
阅读更多...
深入解析ESP32C3（2）- 存储类型和地址空间

深入解析ESP32C3（2）- 存储类型和地址空间

ESP32C3芯片的存储资源 • 384 KB 的ROM：用于程序启动和内核功能调用 • 400 KB 片上SRAM：用于数据和指令存储，时钟频率可配置，最大160 MHz。400 KB SRAM 中，有16 KB 配置为cache 专用 • RTC 快速存储器：…
阅读更多...
VC++中使用OpenCV进行形状和轮廓检测

VC++中使用OpenCV进行形状和轮廓检测

VC中使用OpenCV进行形状和轮廓检测 在VC中使用OpenCV进行形状和轮廓检测，轮廓是形状分析以及物体检测和识别的有用工具。如下面的图像中Shapes.png中有三角形、矩形、正方形、圆形等，我们如何去区分不同的形状，并且根据轮廓进行检测呢&#…
阅读更多...
初学python系列： pandas操作excel

初学python系列： pandas操作excel

媳妇工作中经常用到excel处理，想用python处理excel更高效，所以自学了python，觉得python比Java还是简单多了，没有变量类型声明，比Java也就多了元组，各种库很丰富。 需求是： 汇总两个excel中 列&…
阅读更多...
【MySQL】一文总结MVCC多版本并发控制

【MySQL】一文总结MVCC多版本并发控制

目录 MVCC 介绍当前读和快照读当前读快照读 MVCC 原理解析隐式字段Undo Log版本链Read ViewRead View 可见性原则 RC 和 RR 下的 Read ViewRC 下的 Read ViewRR 下的 Read View小结RR 级别下能否防止幻读总结 MVCC 介绍 在当今高度并发的数据库环境中，有效的并发控…
阅读更多...
系统架构设计师教程（十二）信息系统架构设计理论与实践

系统架构设计师教程（十二）信息系统架构设计理论与实践

信息系统架构设计理论与实践 12.1 信息系统架构基本概念及发展12.1.1 信息系统架构的概述12.1.2 信息系统架构的发展12.1.3 信息系统架构的定义 12.2 信息系统架构12.2.1 架构风格12.2.2 信息系统架构分类12.2.3 信息系统架构的一般原理12.2.4 信息系统常用4种架构模型12.2.5 企…
阅读更多...
flink结合Yarn进行部署

flink结合Yarn进行部署

1. 什么是Yarn模式部署Flink 独立（Standalone）模式由 Flink 自身提供资源，无需其他框架，这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但我们知道，Flink 是大数据计算框架，不是资…
阅读更多...
[娱乐]索尼电视安装Kodi

[娱乐]索尼电视安装Kodi

索尼电视不能直接apk安装kodi应用 android studio安装后附带 abd， 路径 C:\Users\[yourname]\AppuoData\Local\Android\Sdk\platform-tools\adb.exe安卓电视点击内部版本号，启用开发者模式 adb 连接索尼安卓电视，记得电视上运行调试 abi选…
阅读更多...
Vue——计算属性

Vue——计算属性

文章目录 计算属性computed 计算属性 vs methods 方法计算属性完整写法 综合案例：成绩案例 计算属性 概念：基于现有的数据，计算出来的新属性。依赖的数据变化，自动重新计算 语法: ①声明computed配置项中，一个计算属性…
阅读更多...
stable diffuison的安装和使用

stable diffuison的安装和使用

stable diffuison的安装和使用 简单介绍 Stable Diffusion是一个深度学习文本到图像的生成模型，它可以根据文本描述生成详细的图像。这个模型主要应用于文本生成图像的场景中，通过给定的文本提示词，模型会输出一张与提示词相匹配的图片。 S…
阅读更多...
C++提高编程---模板---类模板

C++提高编程---模板---类模板

目录 一、类模板 1.模板 2.类模板的作用 3.语法 4.声明 二、类模板和函数模板的区别 三、类模板中成员函数的创建时机 四、类模板对象做函数参数 五、类模板与继承 六、类模板成员函数类外实现 七、类模板分文件编写 八、类模板与友元 九、类模板案例 一、类模板 …
阅读更多...
HTML CSS 发光字头特效

HTML CSS 发光字头特效

效果展示&#xff1a; 代码&#xff1a; <html><head> </head><style>*{margin: 0;padding: 0;}body {text-align: center;}h1{/* border: 3px solid rgb(201, 201, 201); */margin-bottom: 20px;}.hcqFont {position: relative;letter-spacing: 0.07…
阅读更多...
数据结构【DS】Ch8 排序

数据结构【DS】Ch8 排序

文章目录 插入排序选择排序归并&基数外部排序 插入排序 交换排序 选择排序 归并&基数 外部排序
阅读更多...
电脑可以连接wifi，甚至可以qq聊天，但就是不能用浏览器上网，一直显示未检测出入户网线的解决方案

电脑可以连接wifi，甚至可以qq聊天，但就是不能用浏览器上网，一直显示未检测出入户网线的解决方案

今天回到家&#xff0c;准备办公却发现电脑可以连接wifi&#xff0c;甚至可以qq聊天&#xff0c;但就是不能用浏览器上网&#xff0c;一直显示未检测出入户网线的解决方案&#xff0c;小白也可以看懂 以下有几种解决方案&#xff0c;不妨都试试&#xff0c;估计可以解决95%的相…
阅读更多...
【C语言基础篇】结构控制（下）转向语句break、continue、goto、return

【C语言基础篇】结构控制（下）转向语句break、continue、goto、return

文章目录 一、break语句 1. break在 while 循环中 2. break在 for 循环中 3. break在 do…while 循环中 4. break在 switch 语句中 5. break 总结 二、continue语句 1. continue在 while 循环中 2. continue在 for 循环中 3. continue在 do...while 循环中 4. con…
阅读更多...
PY调包侠——Collections高效库

PY调包侠——Collections高效库

一、【写在前面】 PY是一个调包侠语言&#xff0c;多学一个库可以提高计算速度。Collections提供了各种数据类型和集合工具&#xff0c;可以很方便的处理各种数据结构。如果您有刷力扣的习惯&#xff0c;可以经常看到Collections和itertools的身影&#xff0c;经常用这两个可以…
阅读更多...
最新文章

Copyright @ 2022~2023