计算特征相关性可以用皮尔逊系数
(公式
特征工程中包含特征选择和特征提取(区别)，特征选择用的是Lasso，OMP，WOMP(特征排序)算法(流程讲清楚)，特征提取用的是PCA降维；构造每维特征与label之间的相关性，衡量特征和相应变量即label之间的关系，计算预测输出和实际输出的误差值，误差小的说明该特征对于拟合建模贡献较大，即说明特征比较重要，常用的有卡方检验。特征选择的wrapper型更符合现在的主流，例如回归模型，SVM，决策树，随机森林等机器学习模型python方法本身就有对特征打分的机制，模型可输出系数，系数越大代表特征越重要。解决的是特征冗余和多重共线性问题。随机森林RF模型的特征选择方法是平均不纯度减少(mean decrease impurity)和平均准确率减少(mean decrease accuracy)：平均不纯度减少在分类时采用的是基尼不纯度或信息增益，在回归时采用的是方差或最小二乘拟合，存在关联特征的打分不稳定的缺点；平均准确率减少采用的是打乱特征的顺序，看对模型准确率的影响。
稳定性选择是一种基于二次抽样和选择算法相结合的新方法，原理是在不同的数据子集上运行特征选择算法，不断的重复，最终汇总特征选择结果，效果一般比较好；递归特征消除方法RFE的原理是反复地构建模型，然后选出最好的或最差的特征，把选出来的特征存起来，然后在剩余的特征上继续这个步骤，直到遍历完所有的特征。