Caffe之网络输出

1、fc层

例如caffenet的fc8层：

[plain]view plain copy
layer {    
  name: "fc8"    
  type: "InnerProduct"    
  bottom: "fc7"    
  top: "fc8"    
  param {    
    lr_mult: 1    
    decay_mult: 1    
  }    
  param {    
    lr_mult: 2    
    decay_mult: 0    
  }    
  inner_product_param {    
    num_output: 1000    
    weight_filler {    
      type: "gaussian"    
      std: 0.01    
    }    
    bias_filler {    
      type: "constant"    
      value: 0    
    }    
  }    
}  

最后一个全连接层：神经元个数 = 类别数，输出值位于区间[−∞,∞]，并不是概率值，输出数值最大的值的index就是样本的预测类别；

2、Accuracy层

例如caffenet的accuracy层：

[plain]view plain copy
layer {    
  name: "accuracy"    
  type: "Accuracy"    
  bottom: "fc8"    
  bottom: "label"    
  top: "accuracy"    
  include {    
    phase: TEST    
  }    
}  

Accuracy = fc8层输出对比数据集的labels，在AccuracyLayer中实现；

3、Softmax function

[plain]view plain copy
layer {    
  name: "prob"    
  type: "Softmax"    
  bottom: "fc8"    
  top: "prob"    
}  

为了使输出具有统计意义，需要加入softmax function输出似然值。

softmax function是增函数，它使前面的全连接层输出（fc8）具有了概率意义，并不改变这些输出之前的大小关系；

4、loss function

[plain]view plain copy
layer {  
  name: "loss"  
  type: "SoftmaxWithLoss"  //loss fucntion的类型  
  bottom: "pred"  //loss fucntion的输入数据blob，即网络的预测值lable  
  bottom: "label"  //loss function的另外一个输入数据blob，即数据集的真实label  
  top: "loss" //loss的输出blob，即分类器的loss 值  
}  

为了利用误差反向传播，还需要构造loss function，利用softmax function的输出，即输入样本属于每一类的概率值；

粗略地讲，loss function用来衡量估计值和真实值之间的误差情况，在caffe中，包含常用的loss function主要有以下几种：

（1）softmax：图像多类分类问题中主要就是用它；

Layer type: SoftmaxWithLoss

（2）Sum-of-Squares / Euclidean：主要用在线性回归中；

Layer type: EuclideanLoss

（3）Hinge / Margin：主要用在SVM分类器中；

Layer type: HingeLoss

（4）Sigmoid Cross-Entropy

Layer type: SigmoidCrossEntropyLoss

（5）Infogain

Layer type: InfogainLoss

猜你喜欢