决策理论(decision theory)
决策论背后的核心思想是最小化期望损失
定义清楚期望损失,问题就转变成最优化问题,带入优化器,就迎刃而解了。
这里例举一个垃圾邮件过滤的例子,
要预测垃圾邮件
是模型的输入变量,
为观察值,
是模型的预测值,
令0代表垃圾邮件,1代表非垃圾邮件。
# | 实际值 (垃圾邮件) | 实际值 (非垃圾邮件) |
---|---|---|
预测值 (垃圾邮件) | 0 | 100 |
预测值 (非垃圾邮件) | 1 | 0 |
上面是为过滤垃圾邮件设计的混淆矩阵,其中数值表示损失函数的权重,数值100所在的格子代表非垃圾邮件被分类器分为垃圾邮件,这种情况是不能忍受的,会导致我们看不到有用的邮件,所以损失函数被赋予较高的权重。
下面看两个常见的损失函数定义
“0-1损失”:
“平方损失”