数据清洗不止脚本：从数据质量到主数据管理的全链路实践

简介：这份资源是面向C#开发者与数据治理初学者的DataCleaner中文官方文档，聚焦数据质量提升与清洗流程落地，适合需要系统理解数据质量概念、掌握桌面版工具操作及组件配置的技术人员。文档从数据质量、数据画像、数据整理、数据存储、数据监控与主数据管理等基础概念切入，进而讲解桌面版入门流程，包括安装客户端、连接数据库或存储文件、向job添加组件、连接组件、执行与保存job、使用示例模板以及将清洗结果写入文件，并深入剖析Transform组件中的JavaScript转换器、调用子分析job、过滤器与Union转换器等具体用法。资源包共1个docx文件，约3.47MB，内容为完整中文文档，目录层级清晰，便于按章节检索学习。已有365人学习，可作为数据清洗工具入门与日常查阅的参考材料。

1. 数据清洗不是跑个脚本就完事：一份中文文档把 DQ 到 MDM 的链路讲透了

很多人对数据清洗的想象还停留在“写个脚本去重、补空值”的阶段，真到项目里才发现，麻烦的根本不是写代码，而是你压根不知道这批数据烂在哪、烂到什么程度、修完以后怎么证明它变好了。这份《DataCleaner 中文官方文档》解决的正是这个断层：它把数据质量（DQ）、数据画像、数据整理、数据存储、数据监控、主数据管理（MDM）这几个概念串成一条可操作的链路，再落到桌面端的 job 编排、Transform/Improve/Analyze/Write 四类组件、命令行调用和 Spark 接口上。适合谁？手上有一堆 CSV、Excel 或关系库表要摸底的分析师，做 ETL 前想做数据体检的工程师，以及需要把清洗流程固化成可重复执行 job 的团队。它不是一本读完就忘的手册，而是一份能照着搭出第一条清洗流水线的施工图。

2. 先把数据画像立起来：Analyze 组件怎么选、参数怎么设

数据画像这个词听着虚，落到 DataCleaner 里其实很具体：你对一个数据存储跑一组分析器，输出每个字段的分布、模式、完整性、异常值。文档把 Analyze 类组件列了十五个，新手最容易犯的错是“全选一遍跑完再说”，结果跑出一堆看不懂的指标。正确顺序是先做完整性、值分布、字符串模式这三样，拿到数据的基本轮廓，再决定要不要上日期分析、机器学习这类重武器。

2.1 完整性分析器与值分布：第一轮体检的最小组合

完整性分析器回答的是“这个字段有多少空值、多少非空”，值分布回答的是“每个不同取值出现了多少次”。这两个组合起来，你就能判断一个字段是枚举型、自由文本还是几乎全空。操作上，在桌面端新建 job，拖入数据源组件，再拖入这两个分析器，把输入列连到分析器的列选择上，执行后看结果面板。

# 命令行方式跑同一个 job，适合放进定时任务 # 假设 job 文件为 profile_customer.analysis.xml java -jar DataCleaner-console.jar \ -job profile_customer.analysis.xml \ -datastore customer_csv \ -output profile_result.txt

这段命令的逻辑是：用 console 可执行程序加载 job 文件，指定数据存储名（在配置文件里定义过），把结果写到文本文件。参数-job指向分析 job 的 XML，-datastore必须和配置文件中datastore元素的 name 属性一致，-output不写则默认打到标准输出。常见翻车点是数据存储名拼错，程序不会报“找不到表”，而是报数据存储不存在，看日志第一行就能定位。

值分布的输出要重点看两个信号：一是某个“看起来应该是枚举”的字段出现了几百个不同值，说明录入不规范；二是某个值占比超过 90%，说明这个字段区分度低，后续建模或去重时基本可以忽略。文档里没有强调阈值，我的经验是不同值数量超过总行数的 30% 就按自由文本处理，低于 5% 才考虑当枚举用。

2.2 字符串分析器与模式工具：把“看起来一样”的数据拆开

字符串分析器给出字符集分布、长度分布、空白字符情况；模式工具则把值抽象成模式，比如AAA-9999这种。这两个是发现“格式不统一”的主力。举个典型场景：客户编号有的写成C-001，有的写成C001，有的带前后空格。值分布只会告诉你它们是不同值，字符串分析器和模式工具才能告诉你差异在哪。

<!-- 分析 job 片段：字符串分析器绑定到 customer_id 列 --> <analyzer> <descriptor ref="String analyzer"/> <input ref="col_customer_id"/> <properties> <property name="Evaluate all rows" value="true"/> </properties> </analyzer>

Evaluate all rows设为 true 表示扫描全量而非抽样，数据量在百万行以内建议开着，超过就关掉改用抽样，否则内存吃紧。字符串分析器输出的字符集分布能直接暴露“混入了全角字符”这类问题，模式工具输出的模式列表则可以直接拿去写清洗规则——文档里模式工具和参考数据匹配器是配套用的，先用模式工具看形态，再用匹配器做标准化。

2.3 主键检查与参照完整性：别等入库才报错

主键检查验证某列是否唯一且非空，参照完整性验证外键值是否都能在另一张表里找到。这两个分析器在文档里排在靠后位置，但实际项目里应该尽早跑。原因很直接：如果主键有重复，后面所有基于行的清洗结果都不可信；如果参照完整性不过，写入目标库时会被约束打回。

操作上，主键检查只需要选一列或几列组合，参照完整性需要指定“本表列”和“参照数据存储+列”。参数里有个容易忽略的点：参照完整性默认只报告不匹配的行数，想看到具体是哪些值，要把“收集不匹配值”打开，代价是内存占用上升。我的做法是先在抽样上打开收集，确认问题规模后再决定全量跑不跑。

3. Transform 与 Improve：清洗规则落地时的组件搭配

分析告诉你问题在哪，Transform 和 Improve 负责动手改。文档把 Transform 放在组件分析章的开头，列了 JavaScript 转换器、调用子分析 job、Apply classifier/regression、Equals 过滤器、Max rows 过滤器、Not null 过滤器、Union 转换器；Improve 下面则是近义词查找和表查询。这一章的价值不在于组件多，而在于它暗示了一条规则链的搭法：过滤 → 转换 → 标准化 → 合并。

3.1 JavaScript 转换器：灵活但有边界

JavaScript 转换器是整份文档里最“万能”的组件，输入一行、输出一行，脚本里能拿到所有列的值。适合做那些内置组件覆盖不到的定制逻辑，比如按业务规则拼接字段、做条件映射。但它有两个硬边界：一是脚本里不能做跨行聚合，二是性能随行数线性下降，百万行以上要有心理准备。

// JavaScript 转换器示例：标准化手机号，去掉空格和横线，补国家码 var raw = values["phone"]; if (raw == null) { return null; } var cleaned = raw.replace(/[\s\-]/g, ""); if (cleaned.length === 11) { cleaned = "86" + cleaned; } values["phone_std"] = cleaned;

逻辑说明：values是当前行的列值字典，读取phone列，判空后去掉空白和横线，长度 11 位则补86前缀，结果写回新列phone_std。参数上要注意，输出列必须在组件的输出列配置里先声明，否则写进去也不出现在结果里。另一个坑是脚本异常不会中断整个 job，默认行为是记一条错误继续跑，想让它失败即停，得在组件属性里把错误处理改成“失败”。

3.2 Not null 过滤器与 Max rows 过滤器：先缩小战场再动手

Not null 过滤器剔除指定列为空的行，Max rows 限制流经的行数。这两个看着简单，组合起来是调试利器：在开发清洗规则时，先用 Max rows 限制 1000 行，接上 Not null 过滤掉关键字段为空的行，再挂转换器，跑一遍看输出对不对，确认后再放开行数限制。文档没有明说这个用法，但这是我在实际项目里最常用的套路，能省掉大量“跑全量等半小时发现规则写错”的时间。

Max rows 的参数只有一个行数，注意它是“流经即截断”，不是随机抽样，所以如果数据源本身有序，截出来的可能全是同一批客户。要抽样看分布，还是得回到分析器里设抽样比例。

3.3 Union 转换器与表查询：多源合并和字典映射

Union 转换器把多个输入流按列对齐合并，适合“同一张表分月导出成多个文件”的场景。配置时要保证各输入的列数和类型一致，列名可以不同但顺序要对上。表查询（Improve 下）则是拿一张查找表做映射，比如把城市别名映射到标准城市名，本质是一次左连接。

<!-- Union 转换器配置要点：两个输入，按位置对齐 --> <transformer> <descriptor ref="Union"/> <input ref="stream_jan"/> <input ref="stream_feb"/> <properties> <property name="Merge columns by" value="index"/> </properties> </transformer>

Merge columns by可选index或name，选index要求两边列顺序严格一致，选name则按列名匹配、缺失列补空。跨月文件列顺序经常变，我一般选name，代价是列名拼写差异会导致多出空列，跑完要检查输出列数。表查询的坑在于查找表里有重复键时，行为是取第一条匹配，不会报错，所以查找表本身要先做主键检查。

4. 避坑与排查：桌面端和命令行最容易翻车的五件事

文档给的是理想路径，实际跑起来问题集中在环境、配置和内存三块。下面五条是我和同事踩过的，按“现象 → 原因 → 解决”记下来。

现象一：双击安装 jar 没反应。原因通常是系统没有把.jar关联到 Java，或者 JDK 版本低于 1.7。解决：打开命令行执行java -jar DataCleaner-[edition]-[version]-install.jar，报错信息会直接告诉你缺什么。Windows 上如果提示.js文件没有脚本引擎，是 JavaScript 文件被关联到了编辑器，按文档给的思路改文件关联即可。

现象二：许可证文件选不上，安装向导卡住。原因是文件选择对话框权限或路径问题。解决：跳过向导那一步，手动把许可证复制到用户主目录下的.datacleaner文件夹。Windows 资源管理器不让建点开头的目录，用mkdir .datacleaner在命令行建。

现象三：跑大 job 时报堆内存不足。原因是默认 JVM 堆太小，分析器又开了全量扫描。解决：改DataCleaner.l4j文件里的-Xms和-Xmx，控制台运行则改DataCleaner console.l4j。经验值是数据量每百万行给 1G 起步，同时把分析器的全量扫描关掉改抽样。

现象四：命令行跑 job 报数据存储找不到。原因是-datastore参数和配置文件里的 name 不一致，或者配置文件根本没被加载。解决：先跑列出数据存储的命令确认名字，再检查启动时有没有用-config指定配置文件。文档里命令行一章专门有“列出数据存储内容和可用组件”的用法，排查时先用它。

现象五：写入 CSV 后中文乱码。原因是输出编码和打开方式不匹配。解决：在 Write 组件的 CSV 配置里显式指定编码，常见做法是 UTF-8，然后用支持编码选择的工具打开验证。Excel 直接双击打开 UTF-8 CSV 容易乱码，这是打开方式的问题，不是数据的问题，别急着改清洗逻辑。

5. 从桌面到生产：命令行参数化与 Spark 接口的衔接

桌面端跑通只是第一步，真正让清洗流程有价值的是把它变成可重复执行、可参数化的任务。文档第五章给了两条路：命令行接口和 Spark 接口。命令行适合单机定时任务，Spark 适合数据量已经超出单机内存的场景。两者共用同一套 job 定义，差别在执行引擎。

5.1 参数化 job：把硬编码的路径和日期抽出来

参数化是命令行调用的核心价值。job 文件里把数据存储名、输出路径、日期范围写成变量，执行时通过命令行传入，同一个 job 就能天天跑。

# 参数化执行：传入日期和输出路径 java -jar DataCleaner-console.jar \ -job daily_clean.analysis.xml \ -datastore sales_${bizdate} \ -param output_path=/data/clean/${bizdate}/ \ -param bizdate=20240115

逻辑说明：-param传入的键值对会替换 job 里的变量占位符，${bizdate}这种写法在数据存储名和路径里都能用。参数说明：变量名要和 job 里定义的完全一致，大小写敏感；日期格式建议统一成yyyyMMdd，避免路径里出现特殊字符。常见做法是把这段命令包进调度脚本，失败时看 console 输出的退出码，非零就告警。

5.2 Spark 环境下的限制：别把桌面端的习惯带过去

文档明确列了 Hadoop 接口的限制，这一点很关键。桌面端能跑的某些组件在 Spark 上不支持或行为不同，尤其是依赖单机内存状态的分析器。部署顺序是：先配好 Spark 环境，确认 DataCleaner 的 jar 能被 Spark 加载，再用 Spark 提交方式启动作业。桌面端连 Hadoop 只是开发和调试用，生产上还是走提交脚本。

5.3 验证清洗结果：别只看 job 跑成功

job 执行成功不等于数据变好了。我的习惯是每次清洗后固定跑三个校验：主键检查确认无重复、完整性分析器对比清洗前后的空值率、值分布对比关键字段的取值收敛情况。这三个指标写进同一个校验 job，和清洗 job 串在一条调度链上，清洗完自动跑校验，指标不达标就拦住下游。文档里分析器和 Write 组件的能力足够搭这套校验，不需要额外工具。

从那以后我每次上线新的清洗规则，都强制先在小样本上跑一遍分析器对比，再放开全量，最后挂校验 job 卡口。这套流程救过我好几次——有一次规则把“未知”映射成了空值，值分布一眼看出来异常占比飙升，没等下游报表出错就拦住了。希望这份文档的拆解能帮到你，少走几段我走过的弯路。

本文还有配套的精品资源，点击获取