前言
这是一个 之前使用 spark 的时候 记一次 spark 读取大数据表 OOM OutOfMemoryError: GC overhead limit exceeded 因为一个 OOM 的问题, 当时使用了 fetchSize 的参数
应用服务 hang 住, 导致服务 503 Service Unavailable 在这个问题的地方, 出现了一个查询 32w 的数据, 呵呵 这里又看了一下 fetchSize 的相关, 需要梳理一下 fetchSize 这块的东西
但是 当时不知道 这个 fetchSize 所影响的 客户端 和 服务器 之间交互的具体的处理
这里 来看一下
测试用例
需要体现是否使用 fetchSize 的差异, 只需要 切换 getDataSource 的 url, 有 "useCursorFetch=true" 为使用 fetchSize
/**
* Test25MysqlFetchSize
*
* @author Jerry.X.He <970655147@qq.com>
* @version 1.0
* @date 2022-10-15 14:03
*/
public class Test25MysqlFetchSize {
// Test25MysqlFetchSize
public static void main(String[] args) {
String[] authInfo = {"127.0.0.1", "3306", "test", "postgres", "postgres"};
DataSource ds = getDataSource(authInfo[0], Integer.parseInt(authInfo[1]), authInfo[2], authInfo[3], authInfo[4]);
JdbcTemplate jdbcTemplate = new JdbcTemplate(ds);
jdbcTemplate.setFetchSize(2);
String sql = "select * from `user`;";
List<Map<String, Object>> list = jdbcTemplate.queryForList(sql);
for(Map<String, Object> entity : list) {
System.out.println(JSON.toJSONString(entity));
}
}
/**
* 根据给定的连接信息 获取数据源
*
* @param ip ip
* @param port port
* @param dbName dbName
* @param username username
* @param password password
* @return java.sql.Connection
* @author Jerry.X.He
* @date 2019-08-15 11:50
*/
public static DataSource getDataSource(String ip, int port, String dbName, String username, String password) {
// String url = String.format("jdbc:mysql://%s:%d/%s?useUnicode=true&characterEncoding=UTF8&useCursorFetch=true&defaultFetchSize=100", ip, port, dbName);
String url = String.format("jdbc:mysql://%s:%d/%s?useUnicode=true&characterEncoding=UTF8", ip, port, dbName);
try {
return new SimpleDriverDataSource(new Driver(), url, username, password);
} catch (Exception e) {
return null;
}
}
}
不使用 fetchSize 的场景
客户端发送一个请求, 然后服务器 将所有的数据响应给客户端
使用 fetchSize 的场景
可以看到的是 发送了一个 sql, 以及十多条 fetch 的命令到 mysql 服务器
第一条 fetch 命令, 前 0-100 条数据
第二条 fetch 命令, 前 100-200 条数据
...
第N条 fetch 命令, 前 (N-1)*100 - N * 100 条数据
fetchSize 为 100, 总共数据量为 1216, 然后 客户端合计发送了 13 条 fetch 的请求
4792 4.403080 127.0.0.1 127.0.0.1 MySQL 82 Request Prepare Statement
4795 4.404626 127.0.0.1 127.0.0.1 TCP 56 54350 → 3306 [ACK] Seq=1207 Ack=1482 Win=406784 Len=0 TSval=966581250 TSecr=966581250
4802 4.407809 127.0.0.1 127.0.0.1 MySQL 71 Request Execute Statement
4805 4.411114 127.0.0.1 127.0.0.1 TCP 56 54350 → 3306 [ACK] Seq=1222 Ack=1684 Win=406592 Len=0 TSval=966581255 TSecr=966581255
4852 4.424561 127.0.0.1 127.0.0.1 MySQL 69 Request Fetch Data
4855 4.426304 127.0.0.1 127.0.0.1 TCP 56 54350 → 3306 [ACK] Seq=1235 Ack=4795 Win=403456 Len=0 TSval=966581267 TSecr=966581267
4872 4.436417 127.0.0.1 127.0.0.1 MySQL 69 Request Fetch Data
4875 4.438114 127.0.0.1 127.0.0.1 TCP 56 54350 → 3306 [ACK] Seq=1248 Ack=7906 Win=400384 Len=0 TSval=966581277 TSecr=966581277
4876 4.441996 127.0.0.1 127.0.0.1 MySQL 69 Request Fetch Data
4879 4.443469 127.0.0.1 127.0.0.1 TCP 56 54350 → 3306 [ACK] Seq=1261 Ack=11017 Win=397248 Len=0 TSval=966581281 TSecr=966581281
4880 4.446411 127.0.0.1 127.0.0.1 MySQL 69 Request Fetch Data
4883 4.447904 127.0.0.1 127.0.0.1 TCP 56 54350 → 3306 [ACK] Seq=1274 Ack=14128 Win=394112 Len=0 TSval=966581284 TSecr=966581284
4884 4.450804 127.0.0.1 127.0.0.1 MySQL 69 Request Fetch Data
4887 4.452125 127.0.0.1 127.0.0.1 TCP 56 54350 → 3306 [ACK] Seq=1287 Ack=17239 Win=391040 Len=0 TSval=966581287 TSecr=966581287
4888 4.454689 127.0.0.1 127.0.0.1 MySQL 69 Request Fetch Data
4891 4.456075 127.0.0.1 127.0.0.1 TCP 56 54350 → 3306 [ACK] Seq=1300 Ack=20350 Win=387904 Len=0 TSval=966581290 TSecr=966581290
4892 4.458345 127.0.0.1 127.0.0.1 MySQL 69 Request Fetch Data
4895 4.459971 127.0.0.1 127.0.0.1 TCP 56 54350 → 3306 [ACK] Seq=1313 Ack=23461 Win=384832 Len=0 TSval=966581293 TSecr=966581293
4896 4.462152 127.0.0.1 127.0.0.1 MySQL 69 Request Fetch Data
4899 4.463530 127.0.0.1 127.0.0.1 TCP 56 54350 → 3306 [ACK] Seq=1326 Ack=26572 Win=381696 Len=0 TSval=966581296 TSecr=966581296
4900 4.465897 127.0.0.1 127.0.0.1 MySQL 69 Request Fetch Data
4903 4.468078 127.0.0.1 127.0.0.1 TCP 56 54350 → 3306 [ACK] Seq=1339 Ack=29683 Win=378560 Len=0 TSval=966581300 TSecr=966581300
4904 4.469424 127.0.0.1 127.0.0.1 MySQL 69 Request Fetch Data
4907 4.471176 127.0.0.1 127.0.0.1 TCP 56 54350 → 3306 [ACK] Seq=1352 Ack=32794 Win=375488 Len=0 TSval=966581302 TSecr=966581302
4908 4.473213 127.0.0.1 127.0.0.1 MySQL 69 Request Fetch Data
4911 4.474650 127.0.0.1 127.0.0.1 TCP 56 54350 → 3306 [ACK] Seq=1365 Ack=35905 Win=372352 Len=0 TSval=966581304 TSecr=966581304
4912 4.476087 127.0.0.1 127.0.0.1 MySQL 69 Request Fetch Data
4915 4.477380 127.0.0.1 127.0.0.1 TCP 56 54350 → 3306 [ACK] Seq=1378 Ack=39016 Win=369280 Len=0 TSval=966581306 TSecr=966581306
4916 4.478625 127.0.0.1 127.0.0.1 MySQL 69 Request Fetch Data
4919 4.480168 127.0.0.1 127.0.0.1 TCP 56 54350 → 3306 [ACK] Seq=1391 Ack=39523 Win=368768 Len=0 TSval=966581308 TSecr=966581308
4920 4.480690 127.0.0.1 127.0.0.1 MySQL 65 Request Close Statementdriver 层面 fetchSize 的处理
堆栈信息大致如下
应用通过 resultSet.next 向后迭代
resultSet 中 ResultsetRowsCursor 不断向后迭代当前批次的数据, 如果当前批次的数据已经迭代完毕, 重新向 mysql 服务器发送 fetch 命令, 获取下一批次的数据
如果应用不强行引用, 内内存中常驻的记录数量为 fetchSize 条记录, 进而 缩小需要占用的内存开销
完
