计算特征相关性可以用皮尔逊系数
(公式及含义解释:表示两组数据的线性关系程度,取值为[-1,1]),衡量的是变量之间的线性相关性,简单快速,但是只对线性关系敏感,非线性不适合;计算特征相关性的指标还有互信息MIC和距离相关系数(Python gist包),取值为[0,1]。
特征工程中包含特征选择和特征提取(区别),特征选择用的是Lasso,OMP,WOMP(特征排序)算法(流程讲清楚),特征提取用的是PCA降维;构造每维特征与label之间的相关性,衡量特征和相应变量即label之间的关系,计算预测输出和实际输出的误差值,误差小的说明该特征对于拟合建模贡献较大,即说明特征比较重要,常用的有卡方检验。特征选择的wrapper型更符合现在的主流,例如回归模型,SVM,决策树,随机森林等机器学习模型python方法本身就有对特征打分的机制,模型可输出系数,系数越大代表特征越重要。解决的是特征冗余和多重共线性问题。随机森林RF模型的特征选择方法是平均不纯度减少(mean decrease impurity)和平均准确率减少(mean decrease accuracy):平均不纯度减少在分类时采用的是基尼不纯度或信息增益,在回归时采用的是方差或最小二乘拟合,存在关联特征的打分不稳定的缺点;平均准确率减少采用的是打乱特征的顺序,看对模型准确率的影响。
稳定性选择是一种基于二次抽样和选择算法相结合的新方法,原理是在不同的数据子集上运行特征选择算法,不断的重复,最终汇总特征选择结果,效果一般比较好;递归特征消除方法RFE的原理是反复地构建模型,然后选出最好的或最差的特征,把选出来的特征存起来,然后在剩余的特征上继续这个步骤,直到遍历完所有的特征。