内积空间
令
H0={f(x)∣f(x)=∑i=1nαik(xi,x),n∈N+},对任意
f,g∈H0,
f=∑i=1nαik(xi,x),
g=∑j=1nβjk(xj,x),在
H0上定义内积:
⟨f,g⟩=∑i,j=1αiβjk(xi,xj),下面证明它是良定义的。
(线性性容易验证,只需证明由它诱导的范数满足正定性,即
∥f∥2=0⇒f=0对任意
x∈X成立)
因为
k是一个正定函数,因此有
∥f∥2=⟨f,f⟩=∑i,j=1αiαjk(xi,xj)=αTKα⩾0,其中
K为Gram矩阵。
令
f~=∑i=1nαik(xi,⋅)+tk(x,⋅),则对任意
t∈R有:
∥f~∥2=1⩽i,j⩽n∑αiαjk(xi,xj)+2ti=1∑nαi⟨k(xi,⋅),k(x,⋅)⟩+t2⟨k(x,⋅),k(x,⋅)⟩=∥f∥2+2ti=1∑nαik(xi,x)+t2k(x,x)⩾2tf(x)+t2k(x,x)⩾0如果
k(x,x)=0,显然有
f(x)=0;
如果
k(x,x)>0,则
2tf(x)+t2k(x,x)=k(x,x)[t+k(x,x)f(x)]2−k(x,x)f2(x)⩾0能推出
−k(x,x)f2(x)⩾0,因为
f2(x)⩾0且
k(x,x)⩾0,因此
f(x)=0。
至此,
H0是一个内积空间。
再生核希尔伯特空间
需要证明
Hk是一个RKHS,且
k是它的再生核函数。
即验证
Hk和
k满足RKHS定义的两个条件:
因为
H0={f(x)∣f(x)=∑i=1nαik(xi,x),n∈N+},所以
k(⋅,x)∈H0⊆Hk
⟨f,k(⋅,x)⟩Hk=x→+∞lim⟨i=1∑nαik(xi,⋅),k(⋅,x)⟩H0=x→+∞limi=1∑nαi⟨k(xi,⋅),k(⋅,x)⟩H0=x→+∞limi=1∑nαik(xi,x)=f(x)最后一步用到了范数的收敛性质
limn→+∞∥f(x)−∑i=1nαik(xi,x)∥=0以及逐点收敛的关系,这里不严格证明。
至此,证明了
Hk是一个RKHS,且
k是它的再生核函数。所以正定函数一定是再生核函数。