数据治理只治存量不治增量:新系统一上线口径又乱,治理动作怎么前置到需求与开发环节
很多数据治理项目都经历过同一个剧本:治理团队花了大半年把存量数据清了一遍,报告交了,指标也漂亮了。可没过多久,业务侧上了个新系统、新报表、新接口,同一批问题又冒出来了——客户编码又多了一套写法,订单金额的口径和财务对不上,必填字段在源系统里根本没人校验。 这不是治理团队不努力,而是治理动作的位置放错了。存量清理是"减…
很多数据治理项目都经历过同一个剧本:治理团队花了大半年把存量数据清了一遍,报告交了,指标也漂亮了。可没过多久,业务侧上了个新系统、新报表、新接口,同一批问题又冒出来了——客户编码又多了一套写法,订单金额的口径和财务对不上,必填字段在源系统里根本没人校验。 这不是治理团队不努力,而是治理动作的位置放错了。存量清理是"减量",前置卡点是"断增量"。只做前者,问题会不断以新系统为载体重新长出来。 ## 一、先看清:为什么治完存量,增量还会继续脏 把治理动作全部放在数据产生之后,会形成一条固定的时间差: - **需求阶段**:需求文档写的是功能,不是数据。指标怎么算、字段从哪来、编码引用谁,没人问。 - **设计阶段**:表结构由开发按自己的理解定,字段长度、枚举值、是否允许为空各写一套。 - **开发阶段**:接口能通、页面能开就算完,没人检查字段是否落在标准上。 - **上线阶段**:系统上线了,治理团队第一次看到这批数据——此时问题已经沉淀在库里。 - **事后阶段**:治理团队发现问题、开单、整改,成本最高,还容易和业务扯皮。 这条链路里,治理团队永远在最后一个环节出现,天然处于被动。所以真正要改的不是"清得更勤",而是把治理关卡往前挪,让问题在需求评审和设计评审时就被拦下来。 ## 二、五道卡点:把治理从"事后体检"变成"事前规定 + 事中拦截" 行业里通常把这类动作叫治理前置或事前治理,核心是在数据进入系统之前就把它规定清楚,在进入系统的过程中做入口校验。落到执行层面,可以拆成五道卡点。 ### 卡点一:需求评审加一张"数据需求卡" 需求评审会通常只评审功能范围和优先级,数据相关的内容一句"按现有规范来"就带过了。建议在评审材料里固定加一页数据需求卡,只回答四个问题: 1. **指标口径**:这个需求涉及的指标怎么算?分子分母是什么?时间维度按哪个字段取? 2. **主数据引用**:客户、物料、组织、供应商这些实体,是引用主数据平台,还是自己新建一套? 3. **字段标准来源**:新增字段对应哪条数据标准?如果标准里没有,走新增标准的流程,而不是直接建。 4. **数据 Owner**:上线后这批数据出问题,找谁? 这张卡不需要写得很长,一页纸即可。它的价值不在于文档本身,而在于**逼着需求方在动手之前把口径说清楚**。很多口径冲突,其实在需求阶段就能暴露,只是从来没人问。 实操提醒:数据需求卡不要做成"治理团队单独审一遍"的流程,那样容易被绕过。更有效的做法是把它作为需求评审的必备附件,没有这张卡,需求不进排期。 ### 卡点二:设计阶段做落标检查 需求说清楚了,接下来是设计。这一阶段最容易失控的是表结构和字段定义——每个系统都按自己的习惯建表,字段名、类型、枚举值各不相同,等到要打通时才发现对不上。 落标检查要做三件事: - **字段级元数据与标准绑定**:新增字段在设计文档里必须标注对应的标准条目,没有对应标准就走标准新增流程。 - **编码规则从主数据引用,而不是各写一套**:客户编码、物料编码这类主数据编码,设计时直接引用主数据的编码规则,不在业务系统里重新定义一套生成逻辑。 - **表结构评审(数据模型评审)作为独立关卡**:把表结构评审从技术评审里单独拎出来,由数据管理员参与,重点看命名、类型、枚举、主外键关系是否符合规范。 这里有个常见阻力:开发觉得这是在拖慢进度。可以换个说法——设计阶段改一个字段,成本是一行文档;上线后改一个字段,成本是数据迁移加下游适配。落标检查省下的其实是后面的返工。 ### 卡点三:开发与上线设质量门禁 设计对了,还要防止开发过程中走样。质量门禁的思路是:关键字段的校验不通过,不放行。 门禁规则不用一开始就铺得很全,先盯住四类: | 校验类型 | 检查什么 | 典型场景 | |---|---|---| | 完整性 | 关键字段是否为空 | 客户名称、订单日期、金额 | | 唯一性 | 主键与业务唯一键是否重复 | 客户编码、合同编号 | | 参照完整性 | 外键是否能在主数据中找到 | 组织、物料、供应商 | | 口径一致性 | 同一指标在不同系统中的计算结果是否一致 | 收入、成本、库存 | 门禁放在哪个环节很关键。放在上线验收时,问题发现得还算及时;放在开发自测阶段,成本更低。比较务实的做法是分两级:开发环境跑全量规则,发现问题自己改;上线验收跑核心规则,不通过不进生产。 需要注意,门禁规则本身也要有人维护。规则只增不减,跑一段时间就会变成噪音源,开发开始习惯性忽略告警——那时候门禁就名存实亡了。建议每季度回看一次规则的命中情况,长期零命中的规则要么下线,要么重新校准阈值。 ### 卡点四:变更走影响分析 新系统上线是一次增量,源系统改字段是另一次增量,而且更隐蔽。 一个业务…
https://www.fde.pub/community/forum/687