【MyBatis-plus】saveBatch 性能调优和【MyBatis】的数据批量入库

总结最优的两种方法：

方法1：
使用了【MyBatis-plus】saveBatch 但是数据入库效率依旧很慢，那可能是是因为JDBC没有配置，saveBatch 批量写入并没有生效哦！！！
详细配置如下：批量数据入库：rewriteBatchedStatements=true

 # 数据源
          master:
            driver-class-name: org.postgresql.Driver
            url: jdbc:postgresql://127.0.0.1:5444/mxpt_business_databases?useUnicode=true&characterEncoding=utf8&currentSchema=public&stringtype=unspecified&rewriteBatchedStatements=true
            username: postgres
            password: postgres
            schema: public

方法2：
使用【MyBatis】进行数据的批量入库：拼接sql语句，每1000条数据入库一次。

@Override
    public String insertBoundValueListToDatabase(List<ResourceCalcSceneBoundValue> list)
    {
        //1.先删除原有场次和工程的数据，再进行导入
        ResourceCalcSceneBoundValue gongkuangValue = list.get(0);
        Long scprodId = gongkuangValue.getScprodId();
        Long gongkuangId = gongkuangValue.getBoundId();
        List<ResourceCalcSceneBoundValue> listValue = resourceCalcSceneBoundValueMapper.selectResourceCalcSceneBoundValueList(gongkuangValue);
        if(listValue != null && listValue.size() > 0){
            resourceCalcSceneBoundValueMapper.deleteBoundValueByScprodIdAndBoundId(scprodId, gongkuangId);
        }

        //2.将结果插入到数据库中
        if (list.size() > 0) {
            //条数为1
            if(list.size() == 1){
                resourceCalcSceneBoundValueMapper.insertResourceCalcSceneBoundValueList(list.subList(0, 1));
            }
            //由于数据库对于插入字段的限制，在这里对批量插入的数据进行分批处理
            int batchCount = 120;//每批commit的个数
            int batchLastIndex = batchCount - 1;// 每批最后一个的下标
            for (int index = 0; index < list.size() - 1; ) {
                if (batchLastIndex > list.size() - 1) {
                    batchLastIndex = list.size() - 1;
                    resourceCalcSceneBoundValueMapper.insertResourceCalcSceneBoundValueList(list.subList(index, batchLastIndex + 1));
                    break;// 数据插入完毕,退出循环
                } else {
                    resourceCalcSceneBoundValueMapper.insertResourceCalcSceneBoundValueList(list.subList(index, batchLastIndex + 1));
                    index = batchLastIndex + 1;// 设置下一批下标
                    batchLastIndex = index + (batchCount - 1);
                }
            }
            return "边界过程数据入库成功! 条数为："+list.size()+"条。 ";
        }

        return "数据条数为0。";
    }

xml代码：

<insert id="insertResourceCalcSceneBoundValueList" parameterType="java.util.List" useGeneratedKeys="false">
        INSERT INTO resource_calc_scene_bound_value
        (scprod_id, bound_id, tm, flow, water, kurong, inq, stcd, remark, jp, kaidu, kgnum)
        VALUES
        <foreach collection="list" item="item" index="index" separator=",">
            (#{item.scprodId,jdbcType=INTEGER}
            ,#{item.boundId,jdbcType=INTEGER}
            ,#{item.tm,jdbcType=TIMESTAMP}
            ,#{item.flow,jdbcType=NUMERIC}
            ,#{item.water,jdbcType=NUMERIC}
            ,#{item.kurong,jdbcType=NUMERIC}
            ,#{item.inq,jdbcType=NUMERIC}
            ,#{item.stcd,jdbcType=VARCHAR}
            ,#{item.remark,jdbcType=VARCHAR}
            ,#{item.jp,jdbcType=NUMERIC}
            ,#{item.kaidu,jdbcType=NUMERIC}
            ,#{item.kgnum,jdbcType=INTEGER})
        </foreach>
    </insert>

参考博客：

https://www.cnblogs.com/natee/p/17428877.html
大神总结的超级详细！！！
一起学习！！！
发现接口处理速度慢的有点超出预期，感觉很奇怪，后面定位发现是数据库批量保存这块很慢。
这个项目用的是 mybatis-plus，批量保存直接用的是 mybatis-plus 提供的 saveBatch。 我点进去看了下源码，感觉有点不太对劲：
在这里插入图片描述
继续追踪了下，从这个代码来看，确实是 for 循环一条一条执行了 sqlSession.insert，下面的 consumer 执行的就是上面的 sqlSession.insert：
在这里插入图片描述
然后累计一定数量后，一批 flush。从这点来看，这个 saveBach 的性能肯定比直接一条一条 insert 快。

1、1000条数据，一条一条插入

@Test
void MybatisPlusSaveOne() {
    SqlSession sqlSession = sqlSessionFactory.openSession();
    try {
        StopWatch stopWatch = new StopWatch();
        stopWatch.start("mybatis plus save one");
        for (int i = 0; i < 1000; i++) {
            OpenTest openTest = new OpenTest();
            openTest.setA("a" + i);
            openTest.setB("b" + i);
            openTest.setC("c" + i);
            openTest.setD("d" + i);
            openTest.setE("e" + i);
            openTest.setF("f" + i);
            openTest.setG("g" + i);
            openTest.setH("h" + i);
            openTest.setI("i" + i);
            openTest.setJ("j" + i);
            openTest.setK("k" + i);
            //一条一条插入
            openTestService.save(openTest);
        }
        sqlSession.commit();
        stopWatch.stop();
        log.info("mybatis plus save one：" + stopWatch.getTotalTimeMillis());
    } finally {
        sqlSession.close();
    }
}

在这里插入图片描述
可以看到，执行一批 1000 条数的批量保存，耗费的时间是 121011 毫秒。

2、1000条数据用 mybatis-plus 自带的 saveBatch 插入

@Test
void MybatisPlusSaveBatch() {
    SqlSession sqlSession = sqlSessionFactory.openSession();
    try {
        List<OpenTest> openTestList = new ArrayList<>();
        for (int i = 0; i < 1000; i++) {
            OpenTest openTest = new OpenTest();
            openTest.setA("a" + i);
            openTest.setB("b" + i);
            openTest.setC("c" + i);
            openTest.setD("d" + i);
            openTest.setE("e" + i);
            openTest.setF("f" + i);
            openTest.setG("g" + i);
            openTest.setH("h" + i);
            openTest.setI("i" + i);
            openTest.setJ("j" + i);
            openTest.setK("k" + i);
            openTestList.add(openTest);
        }
        StopWatch stopWatch = new StopWatch();
        stopWatch.start("mybatis plus save batch");
        //批量插入
        openTestService.saveBatch(openTestList);
        sqlSession.commit();
        stopWatch.stop();
        log.info("mybatis plus save batch：" + stopWatch.getTotalTimeMillis());
    } finally {
        sqlSession.close();
    }
}

在这里插入图片描述
耗费的时间是 59927 毫秒，比一条一条插入快了一倍，从这点来看，效率还是可以的。

然后常见的还有一种利用拼接 SQL 方式来实现批量插入，我们也来对比试试看性能如何。

3、1000 条数据用手动拼接 SQL 方式插入， 搞个手动拼接：
在这里插入图片描述
来跑跑下性能如何：

@Test
void MapperSaveBatch() {
    SqlSession sqlSession = sqlSessionFactory.openSession();
    try {
        List<OpenTest> openTestList = new ArrayList<>();
        for (int i = 0; i < 1000; i++) {
            OpenTest openTest = new OpenTest();
            openTest.setA("a" + i);
            openTest.setB("b" + i);
            openTest.setC("c" + i);
            openTest.setD("d" + i);
            openTest.setE("e" + i);
            openTest.setF("f" + i);
            openTest.setG("g" + i);
            openTest.setH("h" + i);
            openTest.setI("i" + i);
            openTest.setJ("j" + i);
            openTest.setK("k" + i);
            openTestList.add(openTest);
        }
        StopWatch stopWatch = new StopWatch();
        stopWatch.start("mapper save batch");
        //手动拼接批量插入
        openTestMapper.saveBatch(openTestList);
        sqlSession.commit();
        stopWatch.stop();
        log.info("mapper save batch：" + stopWatch.getTotalTimeMillis());
    } finally {
        sqlSession.close();
    }
}

在这里插入图片描述
耗时只有 2275 毫秒，性能比 mybatis-plus 自带的 saveBatch 好了 26 倍！

这时，我又突然回想起以前直接用 JDBC 批量保存的接口，那都到这份上了，顺带也跑跑看！

4、1000 条数据用 JDBC executeBatch 插入

@Test
void JDBCSaveBatch() throws SQLException {
    SqlSession sqlSession = sqlSessionFactory.openSession();
    Connection connection = sqlSession.getConnection();
    connection.setAutoCommit(false);

    String sql = "insert into open_test(a,b,c,d,e,f,g,h,i,j,k) values(?,?,?,?,?,?,?,?,?,?,?)";
    PreparedStatement statement = connection.prepareStatement(sql);
    try {
        for (int i = 0; i < 1000; i++) {
            statement.setString(1,"a" + i);
            statement.setString(2,"b" + i);
            statement.setString(3, "c" + i);
            statement.setString(4,"d" + i);
            statement.setString(5,"e" + i);
            statement.setString(6,"f" + i);
            statement.setString(7,"g" + i);
            statement.setString(8,"h" + i);
            statement.setString(9,"i" + i);
            statement.setString(10,"j" + i);
            statement.setString(11,"k" + i);
            statement.addBatch();
        }
        StopWatch stopWatch = new StopWatch();
        stopWatch.start("JDBC save batch");
        statement.executeBatch();
        connection.commit();
        stopWatch.stop();
        log.info("JDBC save batch：" + stopWatch.getTotalTimeMillis());
    } finally {
        statement.close();
        sqlSession.close();
    }
}

在这里插入图片描述
耗时是 55663 毫秒，所以 JDBC executeBatch 的性能跟 mybatis-plus 的 saveBatch 一样（底层一样）。

综上所述，拼接 SQL 的方式实现批量保存效率最佳。

但是我又不太甘心，总感觉应该有什么别的法子，然后我就继续跟着 mybatis-plus 的源码 debug 了一下，跟到了 MySQL 的驱动，突然发现有个 if 里面的条件有点显眼：在这里插入图片描述
就是这个叫 rewriteBatchedStatements 的玩意，从名字来看是要重写批操作的 Statement，前面batchHasPlainStatements 已经是 false，取反肯定是 true，所以只要这参数是 true 就会进行一波操作。

我看了下默认是 false。
在这里插入图片描述
直接将 jdbcurl 加上了这个参数：

在这里插入图片描述
然后继续跑了下 mybatis-plus 自带的 saveBatch，果然性能大大提高，跟拼接 SQL 差不多！

在这里插入图片描述
然后我继续 debug ，来探探 rewriteBatchedStatements 究竟是怎么 rewrite 的！ 如果这个参数是 true，则会执行下面的方法且直接返回：

在这里插入图片描述
看下 executeBatchedInserts 究竟干了什么：

在这里插入图片描述
看到上面我圈出来的代码没，好像已经有点感觉了，继续往下 debug。

果然！SQL 语句被 rewrite了：
在这里插入图片描述
对插入而言，所谓的 rewrite 其实就是将一批插入拼接成 insert into xxx values (a),(b),©…这样一条语句的形式然后执行，这样一来跟拼接 SQL 的效果是一样的。

那为什么默认不给这个参数设置为 true 呢？主要有以下两点：

如果批量语句中的某些语句失败，则默认重写会导致所有语句都失败。

批量语句的某些语句参数不一样，则默认重写会使得查询缓存未命中。

看起来影响不大，所以我给我的项目设置上了这个参数！

最后

稍微总结下我粗略的对比（虽然粗略，但实验结果符合原理层面的理解），如果你想更准确地做实验，可以使用 JMH，并且测试更多组数（如 5000，10000等）的情况。
在这里插入图片描述
所以如果有使用 JDBC 的 Batch 性能方面的需求，要将 rewriteBatchedStatements 设置为 true，这样能提高很多性能。

然后如果喜欢手动拼接 SQL 要注意一次拼接的数量，分批处理。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/678001.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

用 HTML＋CSS 实现全屏爱心滴落的动画效果，中间可显示名字

用 HTML＋CSS 实现全屏爱心滴落的动画效果，中间可显示名字

需求 在页面上显示一行白色文字，同时有爱心滴落的动画效果。 效果 HTML 和 CSS 代码 <!DOCTYPE html> <html lang="en"> <head
阅读更多...
Kerberoasting攻击

Kerberoasting攻击

一. Kerberoasting攻击原理 1. 原理 Kerberoasting 是域渗透中经常使用的一项技术&#xff0c;是Tim Medin 在 DerbyCon 2014 上发布的一种域口令攻击方法&#xff0c;Tim Medin 同时发布了配套的攻击工具 kerberoast。此后&#xff0c;不少研究人员对 Kerberoasting 进行了改…
阅读更多...
揭秘Facebook：数字时代的社交奥秘

揭秘Facebook：数字时代的社交奥秘

前言 在当今的数字时代&#xff0c;社交网络已经深刻改变了人们的沟通方式、信息获取方式和社交方式。其中&#xff0c;Facebook作为全球最大的社交网络平台之一&#xff0c;扮演了至关重要的角色。从一个大学生项目发展成覆盖全球的社交巨头&#xff0c;Facebook不仅见证了互…
阅读更多...
大尺寸图像分类检测分割统一模型：Resource Efficient Perception for Vision Systems

大尺寸图像分类检测分割统一模型：Resource Efficient Perception for Vision Systems

论文题目&#xff1a;Resource Efficient Perception for Vision Systems 论文链接&#xff1a;http://arxiv.org/abs/2405.07166 代码链接&#xff1a;https://github.com/Visual-Conception-Group/Localized-Perception-Constrained-Vision-Systems 作者设计了一个统一的模…
阅读更多...
2024年想转行WebGIS前端开发还有就业前景吗？

2024年想转行WebGIS前端开发还有就业前景吗？

当然有。 无论是测绘外业、数据处理&#xff0c;还是城乡规划、遥感等等专业&#xff0c;只要你的行业就业水平一直停留在“工资低、工作条件差、对身体消耗大、没发展”的现状&#xff0c;我都劝你果断转GIS开发。 在新中地学习的学生无非就是因为上述原因&#xff0c;选择放…
阅读更多...
Springboot 在线学习交流平台-计算机毕业设计源码46186

Springboot 在线学习交流平台-计算机毕业设计源码46186

摘 要 随着科学技术的飞速发展&#xff0c;社会的方方面面、各行各业都在努力与现代的先进技术接轨&#xff0c;通过科技手段来提高自身的优势&#xff0c;在线学习交流平台当然也不能排除在外。在线学习交流平台是以实际运用为开发背景&#xff0c;运用软件工程原理和开发方法…
阅读更多...
乡村振兴的乡村环境综合整治：加强农村环境综合整治，改善农村人居环境，打造干净整洁的美丽乡村

乡村振兴的乡村环境综合整治：加强农村环境综合整治，改善农村人居环境，打造干净整洁的美丽乡村

目录 一、引言 二、农村环境问题的现状与挑战 &#xff08;一&#xff09;农村环境问题的现状 &#xff08;二&#xff09;农村环境问题的挑战 三、加强农村环境综合整治的必要性 &#xff08;一&#xff09;提升农民生活质量 &#xff08;二&#xff09;促进农村经济发…
阅读更多...
AI工具：如何通过智能助手简化工作流程？

AI工具：如何通过智能助手简化工作流程？

工欲善其事&#xff0c;必先利其器。 随着AI技术与各个行业或细分场景的深度融合&#xff0c;日常工作可使用的AI工具呈现出井喷式发展的趋势&#xff0c;AI工具的类别也从最初的AI文本生成、AI绘画工具&#xff0c;逐渐扩展到AI思维导图工具、AI流程图工具、AI生成PPT工具、AI…
阅读更多...
【C/C++】——小白初步了解——内存管理

【C/C++】——小白初步了解——内存管理

目录 1. C/C内存分布 代码区&#xff08;Code Segment&#xff09;&#xff1a; 数据区&#xff08;Data Segment&#xff09;&#xff1a; 堆区&#xff08;Heap&#xff09;&#xff1a; 栈区&#xff08;Stack&#xff09;&#xff1a; 常量区&#xff08;Constant Seg…
阅读更多...
GE的六西格玛是怎么成功的？

GE的六西格玛是怎么成功的？

六西格玛作为一种先进的质量管理方法&#xff0c;旨在通过消除缺陷、提高流程效率来降低成本、增强客户满意度。GE作为最早采用六西格玛的公司之一&#xff0c;其成功的原因首先离不开高层领导对精益六西格玛理念的坚定支持和推动。公司高层不仅亲自参与培训和项目实践&#xf…
阅读更多...
Android电量优化，让你的手机续航更持久

Android电量优化，让你的手机续航更持久

节能减排&#xff0c;从我做起。一款Android应用如果非常耗电&#xff0c;是一定会被主人嫌弃的。自从Android手机的主人用了你开发的app&#xff0c;一天下来&#xff0c;也没干啥事&#xff0c;电就没了。那么他就会想尽办法找出耗电量杀手&#xff0c;当他找出后&#xff0c…
阅读更多...
河南劳务资质申请到拿证，时间规划全攻略

河南劳务资质申请到拿证，时间规划全攻略

河南劳务资质申请到拿证&#xff0c;时间规划全攻略如下&#xff1a; 一、前期准备阶段 材料准备 准备企业营业执照、企业章程、人员身份证明、职称或技能证书、社保证明等相关材料。特别注意准备《建筑业企业资质申请表》、建筑业企业资质申报材料承诺书、标准要求的主要设备…
阅读更多...
藏汉翻译通app：藏文OCR文字识别提取是怎么提高你学习藏语的效率的？今天手把手教会你使用！

藏汉翻译通app：藏文OCR文字识别提取是怎么提高你学习藏语的效率的？今天手把手教会你使用！

工作上的沟通、出门旅游的沟通、学习过程中的沟通&#xff0c;都离不开语言。而语言也是连接不同文化的桥梁。当你还是一个萌新&#xff0c;刚开始接触并使用藏语时&#xff0c;一个趁手的翻译工具&#xff0c;将帮助你快速掌握藏语这门语言。 藏汉翻译通小程序&#xff0c;不仅…
阅读更多...
使用DLL还是通讯协议进行LabVIEW设备集成

使用DLL还是通讯协议进行LabVIEW设备集成

在使用LabVIEW进行设备集成时&#xff0c;可以选择通过设备提供的DLL或直接使用通讯协议。选择方法取决于开发效率、性能、灵活性和维护成本等因素。本文将从这几个方面详细分析两种方法的优劣&#xff0c;帮助做出最佳决策。 分析角度 1. 开发效率&#xff1a; DLL&a…
阅读更多...
EAP设备自动化系统基本功能与概念

EAP设备自动化系统基本功能与概念

EAP&#xff08;Equipment Automation Programming&#xff09;实现了对生产线上机台的实时监控&#xff0c;是工厂自动化不可缺少的控制系统。EAP系统与FAB中的机台紧密相关&#xff0c;系统的设计与开发必须与生产线的机台实际生产流程相一致&#xff0c;才能达到自动化控制机…
阅读更多...
SG5032CAN晶体振荡器适用于单片机应用

SG5032CAN晶体振荡器适用于单片机应用

单片机晶振的作用是为系统提供基本的时钟信号。通常一个系统共用一个晶振&#xff0c;便于各部分保持同步。有些通讯系统的基频和射频使用不同的晶振&#xff0c;而通过电子调整频率的方法保持同步。晶振是为单片机提供一个基本震荡源&#xff0c;也就相当于人体的心跳&#xf…
阅读更多...
ThingsKit：智能物联网平台的创新者

ThingsKit：智能物联网平台的创新者

在数字化浪潮的推动下&#xff0c;物联网&#xff08;IoT&#xff09;正在迅速改变我们的生活和工作方式。ThingsKit&#xff0c;一个领先的物联网平台&#xff0c;致力于通过其创新的技术和服务&#xff0c;为用户提供一个全面、灵活且易于使用的解决方案。 核心特点 设备连接…
阅读更多...
【30天精通Prometheus：一站式监控实战指南】第19天：haproxy_exporter从入门到实战：安装、配置详解与生产环境搭建指南，超详细

【30天精通Prometheus：一站式监控实战指南】第19天：haproxy_exporter从入门到实战：安装、配置详解与生产环境搭建指南，超详细

亲爱的读者们&#x1f44b;   欢迎加入【30天精通Prometheus】专栏&#xff01;&#x1f4da; 在这里&#xff0c;我们将探索Prometheus的强大功能&#xff0c;并将其应用于实际监控中。这个专栏都将为你提供宝贵的实战经验。&#x1f680;   Prometheus是云原生和DevOps的…
阅读更多...
如何充分利用代理IP扩大网络接触面

如何充分利用代理IP扩大网络接触面

目录 前言 第一部分&#xff1a;什么是代理IP&#xff1f; 第二部分&#xff1a;如何获取代理IP&#xff1f; 1. IP质量 2. 匿名性 3. 限制 第三部分&#xff1a;如何使用代理IP&#xff1f; 第四部分&#xff1a;如何充分利用代理IP&#xff1f; 总结&#xff1a; 前…
阅读更多...
SqlServer: 如何产生没有重复的报名编号

SqlServer: 如何产生没有重复的报名编号

背景&#xff1a; 某一期的报名过程中&#xff0c;希望报名能做到报名从1开始&#xff0c;从小到大依次来。但实际生产环境中&#xff0c;用户集中大并发式报名&#xff0c;报名编号非常容易重复。 下面我们用简单的SQL来模拟和重现这个过程&#xff1a; USE tempdb GO DROP…
阅读更多...
最新文章

Copyright @ 2022~2023