这一部分就是讲数据的分析方法。要想分析数据,就先要对数据进行描述归纳。主要分为描述性数据挖掘和预测性数据挖掘。
描述性数据挖掘就是简单描述数据,给出数据性质,常用泛化的方式进行(俗称口胡)。
预测性数据挖掘是对数据建模,预测新数据的行为。
描述性数据挖掘之后常伴随预测性数据挖掘。
概念描述是是描述性数据挖掘的一种最简单的类型。(真·口胡,常用方法是泛化和比较)
数据泛化和基于汇总的特征化描述
数据泛化:低层次转高层次(拔高了说,paper容易过审,雾),青年、中年代替实际年龄数
面向属性的归纳:数据库查询,属性统计然后泛化,合并相等的集合,作图作表。
属性相关分析:相关程度分析,用统计方法作数据预处理。
基于汇总的特征化描述:其实就是那些标志性数据代替整体
最后,还可以用图形的方法显示数据。典型的有直方图、分位数图、散点图、回归曲线等。
探索性数据分析
探索性数据分析(Exploratory Data Analysis,EDA)是指对已有数据在尽量少的先验假设下通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。EDA强调让数据自身“说话”,可以最真实、直接的观察到数据的结构及特征。
EDA的技术手段主要包括:汇总统计进而可视化。
可视化分6种:
-
基于像素的可视化:常见的DEM可视化。
-
几何投影可视化:散点图。
-
基于图符的可视化:切尔诺夫脸(莫名萌)。
-
层次可视化:多维数据集中某一维随其他维的变化而变化。
-
复杂对象和关系可视化:打标签构成人物关系图(明星大侦探看过没?)。
-
信息图。
空间特征
空间特征分为空间位置特征(我在哪)和空间分布特征(在我哪)。
空间位置特征仅考虑位置特征,不考虑属性特征或者仅将属性特征作为权重。
比较典型的有特征点、距离特征、位置模型。常用度量参数是空间中心((横坐标均值,纵坐标均值)以及衍生变化),特征点(重心,几何中心)、邻近特征、分布密度、方向分布(标准差椭圆:一个椭圆包住大部分点)和标准距离。
空间分布特征包括空间相关性、空间异质性和空间模式。
空间相关性基于Tobler第一定律,用数据之间的协方差和相关系数进行度量。
空间相关性的性质取决于
-
空间域(连续空间):空间分辨率或采样密度。
-
对象(离散空间):空间聚合程度。
空间异质性是由于地球表面的多样性,没有任何一个地方可以合理的描述为空间均匀分布,几乎每个地点都会表现出相对于其他位置某种程度的独特性而产生的,是为全局所估计的总体参数并不能恰当的描述任何一个给定点的过程。(最后一句没断清楚句,老问题,定义类理解就行~空间异质性本质就是世界上没有两片相同的叶子)
空间异质性的度量则常用局部空间自相关(Moran I显著性检验)、离散方差和地理加权回归度量。
空间模式则主要分为点模式和面模式。点模式分为聚集分布和分散分布,分析方法有样方分析、最邻近距离分析和K函数分析。面模式用空间相关性度量,面模式的计算主要用I系数、C系数和G系数(狗头)。
探索性空间分析
探索性空间数据分析:一般作为空间分析和空间数据挖掘的先导,进行数据清洗、筛选变量、提示模型选择、检验假设等。
主要技术有:交互式和动态空间数据分析、地学可视化及可视化空间分布。
方法有:
-
刷光和链接(空间数据同步显示与选择)
-
直方图
-
Voronoi图
-
QQPlot分布图
-
空间趋势分析
-
半变差/自协方差函数云
-
互协方差函数云
(后两种真的不会TAT~)