softmax损失函数

softmax常用来进行多分类,假如有一个4x1向量=[5,2,-1,3],softmax的计算过程如下所示

13931179-d1cb39a80b557e57.png
输入向量和中间向量t
13931179-c18676ab6f74105e.png
softmax输出向量,结果的所有元素和为1


下式中是标签,是输出预测值。假设=[0,1,0,0],=[0.3,0.4,0.1,0.2]

单个训练样本损失函数(,)  =  —

根据上面的例子,在2时,式子值为0,=2时,=1,综上L(,)=,损失函数通过学习变小,则变大,又softmax输出的所有概率和为1,所以理想状态下会趋近于1

下式的,是softmax需要学习的权重和偏移。

训练集的损失函数( ,,... )= (,)

整个训练集损失就是把训练算法对所有训练样本的预测都加起来,再除以样本数。

猜你喜欢

转载自blog.csdn.net/weixin_34240657/article/details/86781391