一. 数据规范的含义

数据治理的处理对象是海量分布在各个系统中的数据,这些不同系统的数据往往存在一定的差异:数据代码标准、数据格式、数据标识都不一样,甚至可能存在错误的数据.这就需要建立一套标准化的体系,对这些存在差异的数据统一标准,符合行业的规范,使得在同样的指标下进行分析,保证数据分析结果的可靠性.
例如,对于数据库的属性值而言,可以建立唯一性规则、连续性规则以及空值规则等来对数据进行检验和约束:唯一性规则一般是指为主键或其他属性填写 unique 约束,使得给定属性的每个值与该属性的其他值不同;连续性规则是指属性的最大值和最小值之间没有缺失值并且每个值也是唯一的,一般用于检验数;空值规则是指使用其他特殊符号来代替空值,以及对于这样的值应该如何处理.数据的规范化能够提高数据的通用性、共享性、可移植性及数据分析的可靠性.所以,在建立数据规范时要具有通用性,遵循行业的或者国家的标准.

二. 数据规范方法

数据治理过程中可使用的数据规范方法有:规则处理引擎、标准代码库映射.

2.1 规则处理引擎

数据治理为每个数据项制定相关联的数据元标准,并为每个标准数据元定义一定的处理规则,这些处理逻辑包括数据转换、数据校验、数据拼接赋值等.基于机器学习等技术,对数据字段进行认知和识别,通过数据自动对标技术,解决在数据处理过程中遇到的数据不规范的问题.

• 根据数据项标准定义规则模板,“出生日期”的规则如下所示。

  值域稽核规则:YYYY:MM:DD 或 YYYY-MM-DD;
  取值范围规则:1900<YYYY<=2018,1<=MM<=12,1<=DD<=31.

• 将数据项与标准库数据项对应
  借助机器学习推荐来简化人工操作,根据语义相似度和采样值域测试,推荐相似度最高的数据项关联数据表字段,并根据数据特点选择适合的转换规则进行自动标准化测试.根据数据项的规则模板自动生成字段的稽核任务.
  规则体系中包含很多数据处理的逻辑:将不同数据来源中各种时间格式的数据项,转化成统一的时间戳(timestamp)格式;对数据项做加密或者哈希转换;对身份证号做校验,检验是否为合法的 18 位身份证号,如果是15 位的,则将其统一转换成 18 位;将多个数据项通过指定拼接符号,连接成一个数据项;将某个常量或者变量值赋给某个数据项等.
  规则库中的规则可以多层级迭代,形成数据处理的一条规则链.规则链上,上一条规则的输出作为下一条规则的输入,通过规则的组合,能够灵活地支持各种数据处理逻辑.例如:对身份证号先使用全角转半角的规则,对输出的半角值使用身份证校验转换规则,统一成 18 位的身份证号;再对 18 位身份证号使用数据脱敏规则,将身份证号转成脱敏后的字符串
  

2.1 标准代码库映射

标准代码库是基于国标或者通用的规范建立的 key-value 字典库,字典库遵循国标值域、公安装备资产分类与代码等标准进行构建.当数据项的命名为 XXXDM(XXX 代码)时,根据字典库的国标或部标代码,通过字典规则关联出与代码数据项对应的代码名称数据项 XXXDMMC(XXX 代码名称).
例如,我们想要将所有表示性别“男”的字段都转换成“男”这种同一的表示方式,可以先建立一个数据字典,其中的键的取值范围是所有不同表示方式的集合,值为最终我们想要归一化表示的“男”.

使用数据转换规则时查找数据字典,将所有不同的表示方式统一成一种表示方式.