池化层的目的主要是为了降低维度
1.池化层
结构框架
1.1max-pooling(最大池化层)
图中输入为卷积层1的输出,大小为4*24,对每个不重叠的2*2的区域进行降采样,步长为2。对于max-pooling,选出每个区域中的最大值作为输出,例如,左上的(1,1,2,3)最大的是3,右上是3,左下是3,右下是2。而对于mean-pooling,需计算每个区域的平均值作为输出。最终,该层输出一个(4/2)*(24/2)的map。
1.2代码理解
layer {
name: "pool1" #该层的名称
type: "Pooling" #该层的类型
bottom: "conv1" #该层的输入数据blob
top: "pool1" #该层的输出数据blob
pooling_param {
pool: MAX #Pool为池化方式,默认值为MAX,可以选择的参数有MAX、AVE、STOCHASTIC
kernel_size: 2 #池化区域核的大小,也可以用kernel_h和kernel_w分别设置长和宽
stride: 2 #步长,即每次池化区域左右或上下移动的距离,一般和kernel_size相同,即为不重叠池化。也可以也可以小于kernel_size,即为重叠池化,Alexnet中就用到了重叠池化的方法
}
}
2.全连接层
50*4*4=800个输入结点和500个输出结点
代码:
#参数和卷积层表达一样
layer {
name: "ip1"
type: "InnerProduct"
bottom: "pool2"
top: "ip1"
param {
lr_mult: 1
}
param {
lr_mult: 2
}
inner_product_param {
num_output: 500
weight_filler {
type: "xavier"
}
bias_filler {
type: "constant"
}
}
}
以下转载:http://www.cnblogs.com/lutingting/p/5240714.html
2. 全连接层相关参数
接下来,分别对全连接层的相关参数进行说明
(根据全连接层层的定义,它的学习参数应该为权值和bias,其他的相关参数都为hyper-paramers,在定义模型时是要给出的)
注:全链接层其实也是一种卷积层,只不过卷积核大小与输入图像大小一致
lr_mult:学习率系数
放置在param{}中
该系数用来控制学习率,在进行训练过程中,该层参数以该系数乘solver.prototxt配置文件中的base_lr的值为学习率
即学习率=lr_mult*base_lr
如果该层在结构配置文件中有两个lr_mult,则第一个表示权值学习率系数,第二个表示偏执项的学习率系数(一般情况下,偏执项的学习率系数是权值学习率系数的两倍)
inner_product_param:内积层的其他参数
放置在inner_product_param{}中
该部分对内积层的其他参数进行设置,有些参数为必须设置,有些参数为可选(因为可以直接使用默认值)
-
必须设置的参数
-
num_output:filter个数
-
其他可选的设置参数
-
-
weight_filter:权值初始化方法,使用方法如下
weight_filter{
type:"xavier" //这里的xavier是一冲初始化算法,也可以是“gaussian”;默认值为“constant”,即全部为0
} - bias_filter:偏执项初始化方法
bias_filter{
type:"xavier" //这里的xavier是一冲初始化算法,也可以是“gaussian”;默认值为“constant”,即全部为0
} - bias_term:是否使用偏执项,默认值为Ture
-