Tensorflow中的交叉熵（Cross Entropy）

Cross Entropy (Sigmoid)

适用于二分类，输入函数的logits和labels应当是一维的。如果输入One-Hot过的logits，会被当做多个一维分别计算。注意不要将已经通过sigmoid计算得到的数值输入函数，那样会得到错误的结果。

$sigmoid(x)=\hat x=\frac{1}{1+e^{-x}}$
$loss=-ylog\hat x - (1-y)log(1-\hat x)$
$x=[5.0],y=[1],loss=-log\frac{1}{1+e^{-5}}=0.006715$
$x=[5.0],y=[0],loss=-log\frac{e^{-5}}{1+e^{-5}}=5.006715$
$x=[5.0],y=[-1],loss=log\frac{1}{1+e^{-5}}-2log\frac{e^{-5}}{1+e^{-5}}=10.006715$

# 3 samples
preds = [5., 5., 5.]
labels = [1., 0., -1.]
loss = tf.nn.sigmoid_cross_entropy_with_logits(logits=preds, labels=labels)

Cross Entropy (Softmax)

适用于多分类，softmax_cross_entropy_with_logits_v2接收的logits和labels至少是二维的，sparse_softmax_cross_entropy_with_logits接收的logits至少是二维的，但labels不是One-Hot的，而是类别的下标，例如 $[0,0,1,0]$这样的label就是2（从0开始）。注意不要将已经通过softmax计算得到的数值输入函数，那样会得到错误的结果。

$softmax(x)=\hat x_i=\frac{e^{x_i}}{\sum_k e^{x_k}}$
$loss=-\sum_k y_k log\hat x_i$
$x=[[-1.0,1.0]], y=[[1,-1]],loss=-log\frac{e^{-1}}{e^{-1}+e^{1}}+log\frac{e^{1}}{e^{-1}+e^{1}}=2$
$x=[[-1.0,1.0]], y=[[1,0]],loss=-log\frac{e^{-1}}{e^{-1}+e^{1}}=2.137$

# 4 samples
preds = [[10., -10.], [10., -10.], [10., -10.], [10.,-10.]]
labels = [[1., 0.], [1., -1.], [0., 1.], [-1., 1.]]
loss1 = tf.nn.softmax_cross_entropy_with_logits_v2(logits=preds, labels=labels)

labels = np.argmax(labels)
loss1 = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=preds, labels=labels)

参考

Tensorflow sparse_softmax_cross_entropy_with_logits
Tensorflow sigmoid_cross_entropy_with_logits
Tensorflow softmax_cross_entropy_with_logits_v2