功能: 处理脏数据

[zipper-meng]

https://github.com/alibaba/DataX/blob/master/dataxPluginDev.md#脏数据处理

脏数据处理

什么是脏数据？

目前主要有三类脏数据：

1. Reader读到不支持的类型、不合法的值。
2. 不支持的类型转换，比如：Bytes转换为Date。
3. 写入目标端失败，比如：写mysql整型长度超长。

如何处理脏数据

在Reader.Task和Writer.Task中，通过AbstractTaskPlugin.getTaskPluginCollector()可以拿到一个TaskPluginCollector，它提供了一系列collectDirtyRecord的方法。当脏数据出现时，只需要调用合适的collectDirtyRecord方法，把被认为是脏数据的Record传入即可。

用户可以在任务的配置中指定脏数据限制条数或者百分比限制，当脏数据超出限制时，框架会结束同步任务，退出。插件需要保证脏数据都被收集到，其他工作交给框架就好。