数据分析流程
目的: 主要为了熟悉特征。通过统计分析和可视化工具了解变量间的相互关系以及变量与预测值之间的存在关系,为接下来的特征工程作铺垫。
- 载入数据
- 数据总览:
通过describe()来熟悉数据的相关统计量
通过info()来熟悉数据类型 - 判断数据缺失和异常
查看每列的存在nan情况
异常值检测 - 了解预测值的分布
总体分布概况(无界约翰逊分布等)
查看skewness and kurtosis
查看预测值的具体频数 - 数字特征分析
相关性分析
查看几个特征得 偏度和峰值
每个数字特征得分布可视化
数字特征相互之间的关系可视化
多变量互相回归关系可视化 - 类型特征分析
unique分布
类别特征箱形图可视化
类别特征的小提琴图可视化
类别特征的柱形图可视化类别
特征的每个类别频数可视化(count_plot)
动手实践
分析过程依照“Datawhale”给出的官方例程走了一遍。使用notebook比较可观,代码可见:代码传送门