一、Tensorflow
交叉熵函数:cross_entropy
以下交叉熵计算函数输入中的logits
都不是softmax
或sigmoid
的输出,因为它在函数内部进行了sigmoid
或softmax
操作
1、tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, name=None)
_sentinel
:本质上是不用的参数,不用填labels
:一个和logits
具有相同的数据类型(type
)和尺寸形状(shape
)的张量(tensor
)shape:[batch_size,num_classes]
,单样本是[num_classes]
logits
:一个数据类型(type
)是float32
或float64
的张量name
:操作的名字,可填可不填它对于输入的
logits
先通过sigmoid
函数计算,再计算它们的交叉熵,但是它对交叉熵的计算方式进行了优化,使得结果不至于溢出它适用于每个类别相互独立但互不排斥的情况:例如一幅图可以同时包含一条狗和一只大象
2、tf.nn.softmax_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, dim=-1, name=None)
_sentinel
:本质上是不用的参数,不用填labels
:每一行labels[i]必须是一个有效的概率分布,one_hot=True
(向量中只有一个值为1,其他值为0)logits
:labels
和logits
具有相同的数据类型(type
)和尺寸(shape
)shape:[batch_size,num_classes]
,单样本是[num_classes]
name
:操作的名字,可填可不填它对于输入的
logits
先通过softmax
函数计算它适用于每个类别相互独立且排斥的情况,一幅图只能属于一类,而不能同时包含一条狗和一只大象
3、tf.nn.sparse_softmax_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, name=None)
_sentinel
:本质上是不用的参数,不用填labels:shape
为[batch_size]
,labels[i]
是[0,num_classes)
的一个索引,type
为int32
或int64
logits:shape
为[batch_size,num_classes]
,type
为float32
或float64
name
:操作的名字,可填可不填它适用于每个类别相互独立且排斥的情况,一幅图只能属于一类,而不能同时包含一条狗和一只大象
4、tf.nn.weighted_cross_entropy_with_logits(labels, logits, pos_weight, name=None)
计算具有权重的
sigmoid
交叉熵sigmoid_cross_entropy_with_logits()
_sentinel
:本质上是不用的参数,不用填labels
:一个和logits
具有相同的数据类型(type
)和尺寸形状(shape
)的张量(tensor
)shape:[batch_size,num_classes]
,单样本是[num_classes]
logits
:一个数据类型(type
)是float32
或float64
的张量pos_weight
:正样本的一个系数name
:操作的名字,可填可不
5、计算公式: pos_weight*labels * -log(sigmoid(logits)) + (1 - labels) * -log(1 - sigmoid(logits))
关注我的技术公众号,每天推送优质文章
关注我的音乐公众号,工作之余放松自己
微信扫一扫下方二维码即可关注: