1.数据集的一般特征
(1)维度, dimensionality ,是数据集中的对象具有的属性数目。
(2)稀疏性,sparsity
(3)分辨率 resolusion
2.数据质量
噪声、伪像、偏倚、精度、准确率、离群点、遗漏、不一致的值、重复数据
(1)测量误差和数据收集错误
测量误差,measurement error,测量过程中导致的问题,测量值与实际值的差称为误差。
(2)噪声和伪像
噪声,通常用语包含时间或者空间分量的数据。
(3)精度、偏倚、准确率
精度,precision,同一个量的重复测量值之间的接近程度
偏倚,bias,测量值和被测量之间的系统的变差
准确率,accuracy,被测量的测量值和实际值之间的接近度
(4)离群点 outlier
(5)遗漏值
(6)不一致的值
(7)重复数据
3.数据预处理
(1)聚集,aggregation
将两个或多个对象合并成单个对象。
(2)抽样
有效抽样的主要原理:如果样本是有代表性的,则使用样本与使用整个数据集的效果几乎是一样的。
选择样本的方法:
简单随机抽样 simple random sampling 包括无放回抽样和有放回抽样
分层抽样 stratified sampling ,预先从指定的组开始抽样