众所周知,在用fetch执行D365的查询时,单次的查询是5000条,如果超过5000条则需要自己处理分页,添加额外的处理逻辑,但在ADF中,Dataverse connector已经自动处理了分页,我们可以很简单的做个POC.
我们以省市区县街道数据为例,构建如下Pipeline, 只有街道数据是超过5000条的
街道的fetch查询如下
<fetch mapping="logical" >
<entity name="vg_town" >
<attribute name="vg_name" />
<attribute name="vg_townid" />
<attribute name="vg_districtid" />
<attribute name="vg_code" />
<link-entity name="vg_district" from="vg_districtid" to="vg_districtid" link-type="inner" visible="false" >
<attribute name="vg_name" alias="districtname" />
</link-entity>
</entity>
</fetch>
执行后的结果,一次执行完成插入
尝试在官方文档中查询相关说明,只在QA板块查到
Azure Data Factory automatic pagination for results with more than 5K records - Microsoft Q&A