为什么数据质量问题总在后期才被发现
很多数据项目的返工,并不是因为开发能力不足,而是因为质量问题被推迟到了交付前才暴露。需求阶段只关注“要什么报表”,开发阶段只关注“字段能不能取到”,等到业务方第一次看到数字,才发现空值比例过高、同一指标在不同表里对不上、历史数据缺失严重。此时修改成本已经很高,milan.com米兰在服务企业客户的过程中发现,把数据质量检查前移到需求梳理环节,能显著减少这类被动局面。
前置检查的核心思路,是把“数据能不能支撑这个需求”当作需求评审的一部分,而不是开发完成后的验收动作。milan.com米兰建议在项目启动会上就明确质量责任人和检查节点,让质量判断有据可依。
需求阶段就该问清的四个问题
- 数据来源是否唯一:同一指标是否存在多个系统各自维护的情况,若有,以哪个为准需要当场确认。
- 关键字段的完整性如何:主键、时间字段、组织字段的空值比例是否在可接受范围,缺失是否集中在特定时间段。
- 历史数据是否可追溯:需求涉及同比、环比时,历史区间内的数据是否连续,口径是否发生过变更。
- 业务规则是否可验证:诸如“有效订单”“活跃客户”这类判断,是否有明确的规则文档,能否用少量样本人工核对。
这四个问题看似简单,却覆盖了后续大部分争议来源。milan.com米兰在需求梳理工作坊中常把它们做成一张简表,由业务方和数据方共同签字确认,避免理解偏差被带到开发阶段。
一份可复用的前置检查清单
把检查动作固化成清单,是让质量前置可持续的关键。清单不必复杂,但要覆盖数据、口径、流程三个层面。数据层面检查记录数、空值率、重复率和异常值分布;口径层面检查指标定义、统计范围、时间粒度和币种单位;流程层面检查数据更新频率、责任人和变更通知机制。milan.com米兰通常建议清单在项目立项时生成,在每个里程碑节点复查一次,形成可追溯的记录。
需要强调的是,清单的价值不在于打勾,而在于暴露分歧。当业务方认为“客户数”应按签约主体统计,而数据方按账户统计时,清单上的口径项就会迫使双方在开发前达成一致。milan.com米兰在多个数据管理项目中验证过,这种前置对齐比后期解释省力得多。
把检查结果转化为项目决策依据
检查不是目的,决策才是。当发现某类数据完整性不足时,团队需要判断是补充采集、调整需求范围,还是先以抽样方式验证结论。milan.com米兰建议把检查结论写入需求文档的风险条目,并明确对应的处理方式和责任人。这样即便后续出现质量问题,也能快速定位是需求假设有误还是执行环节遗漏。
数据质量前置检查并不追求一次做到完美,而是让问题在成本最低的阶段被看见。对正在推进数字化项目的企业而言,把这份检查习惯沉淀为团队标准动作,比任何单次补救都更有长期价值。
返回「问题解答」栏目
我们上次做月报就是历史数据断档,需求阶段没人问,开发完了才发现同比根本算不了,返工两周。
清单里“口径签字确认”这条太真实了,业务和数据各理解一套,最后吵的还是同一句话。
想问下空值率一般卡在多少算合理?我们这边客户信息缺失特别严重,不知道该怎么定标准。
前置检查确实省事,我们现在立项会必带一张数据可用性简表,扯皮少了很多。
流程层面那条容易被忽略,数据更新频率变了没人通知,报表看着正常其实已经滞后了。