现实中的脏数据

从业务系统导出的原始数据，几乎从不干净。我们在项目中常见的问题包括：

• 客户手机号格式混乱，同一个客户存在多条记录
• 车辆 VIN 码录入错误或大小写不一致，无法与厂家数据匹配
• 关键字段为空，导致汇总时出现"未分类"的黑洞金额
• 不同门店对同一业务类型使用了不同的编码
• 历史数据存在重复导入，造成金额翻倍

我们的处理流程

① 数据剖析。先统计每个字段的取值分布、空值率、唯一性、格式合规率， 把问题量化出来，而不是凭感觉修。

② 规则定义。与业务方共同确认清洗规则：手机号如何规范化、 VIN 如何校验、异常金额如何界定、重复记录以哪条为准。

③ 流水线实现。把规则实现为可重复执行的 ETL 流程， 每次数据更新都自动清洗，而不是一次性手工修完就完事。

④ 质量监控。建立数据质量指标（完整性、准确性、一致性、及时性）， 持续监控并告警，让数据问题在影响决策之前被发现。

交付成果

• 数据质量问题清单与量化报告
• 数据清洗规则库与自动化流水线
• 数据质量监控看板与告警机制
• 数据治理规范与责任分工建议