34个ETL系统总结 P1 数据探查系统

其他 2021-03-02 17:04:18 阅读次数: 0

1. 数据探查系统

主要探查表的元数据、数据量、数据质量

数据质量可以分为6个部分：

  • 完整性 ：完整性用于度量哪些数据丢失了或者哪些数据不可用
  • 规范性 ：规范性用于度量哪些数据未按统一格式存储
  • 一致性 ：一致性用于度量哪些数据的值在信息含义上是冲突的
  • 准确性 ：准确性用于度量哪些数据和信息是不正确的，或者数据是超期的
  • 唯一性 ：唯一性用于度量哪些数据是重复数据或者数据的哪些属性是重复的
  • 关联性 ：关联性用于度量哪些关联的数据缺失或者未建立索引

常用技巧：可以建立审计表来统计核心字段的覆盖率

猜你喜欢

转载自blog.csdn.net/hardyer/article/details/108603443
今日推荐
周排行
成为C++高手之宏与枚举
在CAD二次开发中使用进度条
Js插件ECharts，HighCharts学习网址整理
Celery提交任务出错(on windows.)
cephfs内核客户端性能追踪
thinkphp中PHPExcel用法
EntityFramework动态组合多排序字段
汇编语言（八）实验9 根据材料编程
安装ubuntu后必须做的事情（对我而言）
JS函数式编程
每日归档
更多
2024-10-22(0)
2024-10-21(0)
2024-10-20(0)
2024-10-19(0)
2024-10-18(0)
2024-10-17(0)
2024-10-16(0)
2024-10-15(0)
2024-10-14(0)
2024-10-13(0)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022