Kernel Methods (6) The Representer Theorem
The Representer Theorem, 表示定理.
给定:
- 非空样本空间: χ
- m个样本:{(x1,y1),…,(xm,ym)},xiinχ,yi∈R
- 非负的损失函数: J:(χ×R2)m→R+. 这个符号表示初看挺别扭的, 从wikipedia上抄来的. 含义是J有m×3个参数, 3代表: 样本xi (一个χ)+ 它的目标值yi(一个R) + 估计值 f(xi) (另一个R)
- 一个正半定kernel function : κ:χ2→R
- κ对应的再生核希尔伯特空间(Reproducing Kernel Hilbert Space, RKHS) H
- 一个递增函数g
优化问题:
argminhJ=argminhJ(x1,y1,h(x1),…,xm,ym,g(||h||2))
如果h∗∈H是一个最优解,h∗必具有以下形式:
h∗=∑i=1mαiκ(xi,⋅)
可能是理解不够吧, 感觉也就那样:
SVM要去掉bias才符合.(将x增广可将b并入w处理)- 只说明形式, 对得到α的值并没有帮助.
所以证明就不管了, 知道有这么回事就行了. 以后若需要深入了解, 可以参考pdf