本文参考Vapnik统计学习理论归纳了机器学习三类学习问题的同一原则。
分类问题
在只取限个值的函数集上,用经验数据(训练数据)
来最小化风险泛函
就变成了模式识别的问题。
考察经验风险泛函
在
时,最小化经验风险泛函产生一个函数,该函数在训练器上具有
最小错分数。
回归问题
在函数集 上,基于经验数据
最小化泛函
的问题。对应于这一泛函,经验风险泛函为:
根据经验风险最小化原则,为了估计回归函数, 我们必须最小化该泛函。在统计学中,\\
最小化该泛函称为最小二乘法。
密度估计问题
在密度集 上,利用独立同分布数据
最小化泛函
的问题。对应于这一泛函,经验风险泛函为
根据经验风险最小化原则,该泛函的最小值提供对密度的逼近。它等同于最大似然方法的解,我们知道
在最大似然方法中,求和号前面用的是正号(最大化),而不是负号(转换成最小化)。