数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。特征选择是特种工程的重要组成部分,在现实任务中,获得数据之后通常先进性特征选择,用相关特征训练学习器。
特征选择的概念
- 相关特征:与当前学习任务相关的特征
- 无关特征:与当前学习任务无关的特征
- 特征选择:在不丢失重要特征的前提下,从给定的特征集合中选择出相关特征子集的过程(相关性)
特征选择的原因
1.降低学习难度
2.减轻维度灾难
3.减少计算和存储开销
4.提高模型的可解释性
特征选择的过程
生成一个“候选子集”,评价候选子集的好坏,基于评价结果生成下一个“候选子集“,再评价候选子集的好坏......直至无法找到更好的候选子集为止。特征选择的关键环节:如何根据评价结果生成下一个候选特征子集?(子集搜索问题)如何评价候选特征子集的好坏?(子集评价问题)
(1)子集搜索问题
通过贪心策略解决子集搜索问题,三种常见的策略:
- 前向搜索策略:逐渐增加相关特征
- 后向搜索策略:逐渐减少无关特征
- 双向搜索策略:逐渐增加相关特征,同时逐渐减少无关特征
(2)子集评价问题
通过计算候选子集的信息增益,评价候选子集的好坏。信息增益越大,则候选子集包含的的有助于分类的信息越多。信息增益是子集评价的准则之一,其他能判断划分差异的机制均能够用于特征子集评价。
特征选择方法之决策树
特征选择的方法--过滤式(filter)、包裹式(wrapper)、嵌入式 (embedded)
- 过滤式--使用发散性/相关性对各个特征进行评分,设定阈值或特征个数选择特征 。特征选择过程与学习器无关,相当于先对初始特征进行过滤,再用过滤后的特征训练模型。