Support Vector Machines,SVM,支持向量机
各种SVM
-Support Vector Classi cation
训练向量 —
两个类class
指标向量 —
,
-SVC解决如下原始优化问题:
将 映射到更高维空间, 为正则化参数。
由于向量参数 的可能的高维度,通常我们解决如下对偶问题
为全为1的向量
— 一个
的半正定矩阵positive semidefinite matrix
— 核函数
问题(2)解决后,使用 primal-dual relationship 原始-对偶关系,最优的 满足:
决策函数为
为进行预测,存储如下参数:
标签名称
其他参数 如 — 核参数
-Support Vector Classi cation
引入了新的参数 —
对偶问题为
当且仅当
问题才有意义
决策函数为
可用 替代
LIBSVM解决一个缩放版的问题,这是因为 可能过小。
若
对于对偶问题(5)是最优的
对于原始问题(4)是最优的
则,
是带有
的
-SVM的一个最优解,因此,在LIBSVM模型中的输出为
。
Distribution Estimation (One-class SVM)
单类别SVM
无类别信息
对偶问题为
决策函数为
缩放版
-Support Vector Regression ( -SVR)
训练点集 —
— 特征向量
— 目标输出
给定参数 —
及
,支持向量回归的标准形式为:
对偶问题为
在解决问题(9)后,估计函数为
输出为 —
-Support Vector Regression ( -SVR)
对偶问题为
估计函数为
可替换为等式
如下二者有相同解
1.
-SVR — 参数
2.
-SVR — 参数