再谈kettle两种循环之 – 调用http分页接口循环获取数据
1.场景介绍：
由于数据量比较大,接口有返回限制,需要用到循环分页获取数据
2.案例适用范围：
循环job可参考，变量运用可参考，调用http分页接口循环获取数据可参考，生成连续记录可参考，MD5加密可参考
3.整个job设置如下设计：
循环方式1
循环方式2
4.JOB运行结果
调用接口返回总数据量：
循环方式1
循环方式2
两种循环分页获取方式结果和实际接口数据一致，代表循环分页获取接口数据的过程正确
5.JOB过程分步骤介绍
循环方式1的设计主要有4个步骤
- Execute SQL Script组件清空表数据，目的是支持重跑
主要是获取数据总量，根据设置每页数量计算循环次数（数据有多少页就循环多少次）
-
Evaluating JavaScript 组件主要是根据页数控制循环
-
GET_HOUSE_DATA转换获取数据
表输入：这里采用数据库连接，运用sql的方式生成http接口调用信息，框出来部分是循环变量替换的关键设置
MD5加密及获取token步骤这里不细说具体可以参考之前的文章kettle使用MD5加密增量获取接口数据
接口根据request_body设置分页请求数据，然后解析入库
总结：循环方式1的设计关键在于javascript控制循环，需注意数据量太大，循环次数过多会报内存溢出的错误，经过测试大概在循环200次左右会报错，数据量不是特别建议用这种方式
循环方式2的设计主要也是4个步骤
- Execute SQL Script组件清空表数据，目的是支持重跑和循环1设计一致
- SET_TOTAL_NUM转换设计和循环1也一样
- GENERATE_LOOP_ROWS转换主要是根据页数生成循环的页数和每页数量的结果列表，结果列表如下
过程设置如下：
- GET_HOUSE_DATA转换获取数据设计和循环1一样
总结：循环的设计可以解决循环1内存溢出的问题，该设计关键在于需要在job中勾选GET_HOUSE_DATA转换的两个勾以及设置参数传递（Options 下的Execute every input row和Parameters下的Copy results to parametes）
整个设计作者亲自测试过，没有问题，如大家在使用过程中发现不能成功，可以检查一下每个步骤中是否有遗漏，如内容描述有错欢迎大家指正！！！
读后有疑问请加QQ群来聊一聊 kettle那些事！作者个人qq:420773639
因资源涉及到API具体信息作者这里就不直接公布，如果有需要可以联系作者
