1: BatchNorm
BN进行归一化的时候,归一化的是Wi *x + bi,归一化之后送入到激活函数中;
2:softmax和logistics的Loss
交叉熵计算的是两个向量的距离,值越小,越相近;
Logistics Loss:
softmax Loss:
logistics是二分类的loss计算方式,softmaxLoss是one-shot的计算方式,除了一个标签为1之外其他的都是0;
1: BatchNorm
BN进行归一化的时候,归一化的是Wi *x + bi,归一化之后送入到激活函数中;
2:softmax和logistics的Loss
交叉熵计算的是两个向量的距离,值越小,越相近;
Logistics Loss:
softmax Loss:
logistics是二分类的loss计算方式,softmaxLoss是one-shot的计算方式,除了一个标签为1之外其他的都是0;