用JDBC实现游标查询,关键代码在于 Statement 的 fetchSize 属性的设置。
- ExportDataService
import cn.hutool.core.io.FileUtil;
import cn.hutool.core.text.csv.CsvUtil;
import cn.hutool.core.text.csv.CsvWriter;
import cn.hutool.core.util.StrUtil;
import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.springframework.jdbc.core.JdbcTemplate;
import org.springframework.scheduling.annotation.Async;
import org.springframework.stereotype.Service;
import java.io.File;
import java.nio.charset.Charset;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.concurrent.atomic.AtomicInteger;
import java.util.stream.IntStream;
@Slf4j
@Service
@RequiredArgsConstructor
public class ExportDataService {
private final JdbcTemplate jdbcTemplate;
@Async
public void exportDataToFile(String sql, String filePath) {
long beginTime = System.currentTimeMillis();
// 给文件先加个.ing后缀, 表示数据正在导出
File file = FileUtil.newFile(filePath + ".ing");
AtomicInteger readCnt = new AtomicInteger();
try (CsvWriter csvWriter = CsvUtil.getWriter(file, Charset.defaultCharset())) {
jdbcTemplate.query(conn -> buildStmt(conn, sql), rs -> {
handlerRow(rs, csvWriter, readCnt);
});
csvWriter.flush();
}
log.info("导出完成, 共计: {}, 耗时: {} MS", readCnt.get(), System.currentTimeMillis() - beginTime);
// 全部导出完成后, 重命名文件, 把.ing后缀去掉
FileUtil.rename(file, StrUtil.subBefore(file.getName(), ".ing", true), true);
}
/**
* 构建预执行SQL模板
*
* @param conn 数据连接
* @param sql SQL
* @return java.sql.PreparedStatement
* @author 敖癸
* @since 2024/3/15 - 15:37
*/
private static PreparedStatement buildStmt(Connection conn, String sql) throws SQLException {
PreparedStatement stmt = conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
// 固定写法, 因为mysql比较特殊, 要开启游标查询, 需要设置fetchSize为Integer.MIN_VALUE。其它数据库根据实际需求来调整大小
stmt.setFetchSize(Integer.MIN_VALUE);
stmt.setFetchDirection(ResultSet.FETCH_FORWARD);
return stmt;
}
/** 处理每一行的数据 */
private static void handlerRow(ResultSet rs, CsvWriter csvWriter, AtomicInteger readCnt) throws SQLException {
// 获取每一行的字段数量
int columnCount = rs.getMetaData().getColumnCount();
// 按顺序获取每个字段的值
String[] fields = IntStream.rangeClosed(1, columnCount).mapToObj(i -> getFieldValue(rs, i)).toArray(String[]::new);
// 将一行数据append写入到csv文件
csvWriter.writeLine(fields);
// 每5000行清空一次缓冲区, 将数据持久化到磁盘
if (readCnt.incrementAndGet() % 5000 == 0) {
csvWriter.flush();
log.info("已导出: {}", readCnt.get());
}
}
private static String getFieldValue(ResultSet rs, int i) {
try {
return rs.getString(i);
} catch (SQLException e) {
log.warn("字段解析失败", e);
return "N/A";
}
}
}
项目启动后,发起请求
源码: https://gitee.com/DimonHo/export-data2csv.git
扩展知识
因为是直接导出数据写入到本地文件,所以这个程序不能部署到服务器,如果其它的小伙伴也想要用这个功能怎么办?
方案1. 要么修改一下代码,导出后先把文件写入到服务器,然后再下载到客户端,这样就会多走一层网络传输,如果导出的数据很大,到时候要从服务器上下载几个G的文件,对网络带宽和效率都是一种消耗。
方案2. 把项目打包成jar包,再把jar分发给需要的人,让它们自己在本机启动java,这种方式需要使用者的电脑上安装jre运行环境,如果是非技术人员,使用门槛较高。
方案3. 把项目打包成exe可执行文件,双击即可使用。
前两个方案就不说了,比较简单,大家应该都会。第三种方案怎么玩?
百度一下通常有两种方案,针对jdk14之前和之后分别有一个不同的解决方案。
jdk14之前,你可能需要用到 exe4j 这个工具,这个我没试过,看了下别人写的教程,感觉步骤有点麻烦,就不赘叙了,毕竟现在已经有更简单的办法了。
jdk14之后,jdk提供了一个jpackage命令工具,用这个工具,我们就可以用简单的几个命令直接打包成绿色版exe程序。下面来看看具体怎么玩。
- 首先,我们仍然需要先把源码编译成jar包,用 mvn package命令编译打包即可。
- 然后在执行jpackage命令把jar打包成exe程序
jpackage --type app-image --name exportData2Csv --input target --main-jar .\export-data2csv.jar --win-console --dest D:/apps
–type可选值有:app-image | exe | msi,这里我们使用app-image即可
–name:exe文件的名称
–input:输入目录,写jar包所在的目录即可
–main-jar: 指定主类的jar包
–dest: 打包后的目的地
运行完成后,在D:/apps目录下面就会多出一个exportData2Csv目录,进入这个目录,就能看到exportData2Csv.exe文件了
注意:exportData2Csv.exe不可单独拿出来运行,这里其实是基本把整个jre打包进来了,在runtime目录下。
我们可以把D:/apps/exportData2Csv整个目录压缩到一个zip包里面,就可以把这个绿色版的数据导出程序分发给别人了。
要做的更好用点,就在打包前在exportData2Csv目录下面在加一个readme.md文件,里面简单的写上使用教程,比如数据源配置如何修改。
说到这里,数据源的配置也有两种方式可以修改。
一种是运行这个exe文件时,指定参数文件路径 --spring.config.location=./application.yml
就像这样:
另一种方法是jpackage打包时,指定--arguments --spring.config.location=./application.yml
参数,打包完成后,再手动把application.yml复制到exportData2Csv目录。
就像这样:
再添加readme.md说明文件
添加说明
最后打包成压缩包,把zip分发给别人使用
tips: 程序启动后,自动打开swagger ui页面,可以在main方法中加入这段代码
try {
// 使用默认浏览器打开swagger ui页面
new ProcessBuilder("cmd", "/c", "start", "http://localhost:8080/swagger-ui.html").start();
} catch (Exception e) {
log.warn("打开客户端主页失败", e);
}
是不是更好用了?