mybatisplus saveBatch版本问题导致CPU打满生产问题定位

一、生产现象

1、16:57 运维告知Push微服务有一台因为CPU被打满，自动重启，询问原因。

2、17:00 查看异常节点CPU轨迹,16:30开始CPU出现异常飙升

3、17:10 结合生产日志错误，以及定时任务运行情况，得出结论：

产品在16:30新建了一个60w客群的AB分流的任务，

在16:30任务启动，首先从kafka消费拉取大数据客群存储，

kafak消费数据时，将数据批量插入数据库表kafka_data，批量插入异常，同一批数据会再次进行分流，导致死循环，CPU飙升。

Error getting generated key or setting result to parameter object. Cause: org.apache.ibatis.executor.ExecutorException: Too many keys are generated. There are only 4 target objects. You either specified a wrong 'keyProperty' or encountered a driver bug like #1523.

二、紧急修复

日志报错是at com.baomidou.mybatisplus.extension.service.IService.saveBatch(IService.java:58) ~[mybatis-plus-extension-3.2.0.jar!/:3.2.0]

MyBatisplus的saveBatch方法导致，代码紧急修复，弃用saveBatch，手写xml的foreach循环插入。

<insert id="insertABTaskSyncKafkaData" parameterType="java.util.List">

INSERT INTO t_ab_test_sync_kafka_data

(task_code, user_id, open_id, mobile)

VALUES

<foreach collection="items" item="item" index="index" separator=",">

(#{item.taskCode, jdbcType=VARCHAR}, #{item.userId, jdbcType=VARCHAR}, #{item.openId, jdbcType=VARCHAR}, #{item.mobile, jdbcType=VARCHAR})

</foreach>

</insert>

三、事后分析

1、本地模拟：

①采用两个线程T1,T2，两个线程分别往线程安全队列abTaskList中写数据，数据在t2线程中存储。（模拟生产kafka消费，一个节点监听主题，不同线程往队列中丢数，并且根据队列大小阈值将队列中一批次数据落库）。

②存数据时，设置DTO对象个别数据为null。（模拟生产客群可别属性为null，例如openId，mobile等）。

本地复现了和生产一样的报错，追踪插入库的List，发现一个批次里面，插成功的对象id被赋值了，没插整个的id为null。

mybatisPlus向上抛出插入的list 和插成功的list的 id数对不上，

Error flushing statements. Cause: org.apache.ibatis.executor.ExecutorException: Error getting generated key or setting result to parameter object. Cause: org.apache.ibatis.executor.ExecutorException: Too many keys are generated.

There are only 27 target objects. You either specified a wrong 'keyProperty' or encountered a driver bug like #1523.

2、MyBatisplus的saveBatch 技术分析：

①底层xml采用了 useGeneratedKeys="true"，和 ON duplicate KEY UPDATE的底层实现，将DTO存储时，会将id主键重新赋值给DTO对象，如果一个批次里面，有部分主键没有被赋值，则会抛出上面的异常。

②saveBatch方法实际还是一条一条的insert，只是达到阈值1000时，刷一次盘