损失函数,代价函数,经验风险,结构风险的理解和区别

理解有争议,暂时放这里,后续优化。

  1. 损失函数:定义在单个训练样本的损失/误差,也就是就算一个样本的误差,比如我们想要分类,就是预测的类别和实际类别的区别,是一个样本的。

  2. 代价函数(Cost function):定义在整个训练集整体的误差描述,也就是所有样本的误差的总和的平均,也就是损失函数的总和的平均。

也有理解为:

  1. 代价函数(Cost function):定义在整个训练集整体的误差描述,也就是所有样本的误差的总和。

  2. 经验风险:其定义公式就是将所有样本的损失函数累加求平均。

总的概括:损失是一个样本的,代价函数是整个样本的,风险是代价函数的均值,结构就是在风险的基础上加上了正则。

猜你喜欢

转载自blog.csdn.net/weixin_38278334/article/details/82959291