目录
项目场景
问题分析
解决方案
MongoDB Delete插件使用总结
项目场景
项目使用的ODS层数据库是MongoDB；在数据中心从DB层向ODS层同步数据过程中，发现有张ODS表在同步过程中，数据突然发生锐减，甚至于该ODS表数据清0。
同步技术使用的是kettle，在该ODS表的同步转换中，只有两个控件用来处理MongDB数据：一个是kettle本身自带的MongoDB output，一个是使用的插件MongoDB Delete。
MongoDB Delete删除是按照条件删除MongoDB数据库中指定集合的数据，此转换是有两个条件：一个常量，一个主键ID。
kettle的MongoDB Delete 插件资源在我的资源列表中，需要的可以去下载。
问题分析
从项目场景来分析，ODS表数据锐减，甚至清0。很明显是有删除操作导致的，而kettle转换中有删除MongoDB数据功能的控件只有MongoDB Delete。
所以现在怀疑大概率是MongoDB Delete插件存在bug。
锁定了MongoDB Delete后，在转换中加了【调试】日志，想要看下同步过程中到底发生了什么。
以下是对项目上的ETL转换的日志分析 【为避免项目隐私，关键内容已打马塞克】
| 1、项目场景中的ETL转换中涉及MongoDB Delete的日志片段 这里的逻辑撤销删除就是在转换中给MongoDB Delete插件定义的名字； 由项目场景中的介绍已知，删除条件是两个，但这里只有一个条件； 且这里的删除条件是个常量，按照此条件删除，肯定是大批量的删了； 2、为什么删除条件变成一个了呢？ 根据日志的上下内容，发现该条数据中的ID为空，经过测试发现： 当两个条件中的某个字段为NULL时， MongoDB Delete插件就会只按照不NULL的那个字段进行查询删除。 3、两个字段都不为NULL时的正常日志片段
4、当只有一个条件，且为NULL时的日志
此时发现查询条件中什么也没有，而测试结果却是将对应的MongoDB集合数据全部删除了。 5、当将过滤空值时的日志
此时发现MongoDB Delete插件不会产生任何的查询删除操作 |
解决方案
在MongoDB Delete插件前加个非空过滤，即可解决该问题。经过测试，ODS数据锐减问题解决。
MongoDB Delete插件使用总结
经过上述的日志分析，可以将MongoDB Delete的使用总结为以下几点：
- 当删除条件为单个时
如果条件字段为NULL，则删除全表，相当于Oracle中的truncate。
- 当删除条件为多个时
如果某个条件字段为NULL，此时删除条件减1，按照非NULL的字段进行删除；如果这多个字段全部为NULL，则删除全表，相当于Oracle中的truncate。
- 非空过滤
在使用MongoDB Delete插件时，应该将删除用到条件字段全部进行非空过滤，不让空值流下去，才能保障数据不会因BUG删除。
