solver算是caffe的核心的核心，它协调着整个模型的运作。caffe程序运行必带的一个参数就是solver配置文件

在Deep Learning中，往往loss function是非凸的，没有解析解，我们需要通过优化方法求解。solver的主要作用就是交替调用前向（forword）算法和后向（backward）算法来更新参数，从而最小化loss，实际上就是一种迭代的优化算法。

Solver的流程：

1.     设计好需要优化的对象，以及用于学习的训练网络和用于评估的测试网络。（通过调用另外一个配置文件prototxt来进行）

2.     通过forward和backward迭代的进行优化来跟新参数。

3.     定期的评价测试网络。 （可设定多少次训练后，进行一次测试）

4.     在优化过程中显示模型和solver的状态

在每一次的迭代过程中，solver做了这几步工作：

1、调用forward算法来计算最终的输出值，以及对应的loss

2、调用backward算法来计算每层的梯度

3、根据选用的slover方法，利用梯度进行参数更新

4、记录并保存每次迭代的学习率、快照，以及对应的状态。

参数解释：

train/test_net：训练/测试的模型文件路径。

test_iter：表示网络的测试迭代次数。网络一次迭代将一个batchSize的图片进行测试，所以为了能将validation集中所有图片都测试一次，这个参数乘以TEST的batchSize应该等于validation集中图片总数量。即test_iter*batchSize=val_num。

test_interval：表示网络迭代多少次进行一次测试。一次迭代即一个batchSize的图片通过网络正向传播和反向传播的整个过程。比如这里设置的是224，即网络每迭代224次即对网络的准确率进行一次验证。一般来说，我们需要将训练集中所有图片都跑一编，再对网络的准确率进行测试，整个参数乘以网络data层（TRAIN）中batchSize参数应该等于测试集中图片总数量。即test_interval*batchSize=train_num。

base_lr：表示网络的基础学习率。学习率过高可能导致loss持续86.33333，也可能导致loss无法收敛等等问题。过低的学习率会使网络收敛慢，也有可能导致梯度损失。一般我们设置为0.01。

display: 每多少次显示一次。

max_iter: 网络的最大迭代次数。训练集中的图片当然不能只训练一次就算了，要反复多次的进行训练，所以这个参数应该要大一些。

lr_policy: 学习率变化。

lr_policy可以设置为下面这些值，相应的学习率的计算为：

·    

o    - fixed: 保持base_lr不变.

o    - step:  如果设置为step,则还需要设置一个stepsize,  返回 base_lr * gamma ^ (floor(iter / stepsize)),其中iter表示当前的迭代次数

o    - exp:   　　返回base_lr * gamma ^ iter， iter为当前迭代次数

o    - inv:    如果设置为inv,还需要设置一个power, 返回base_lr * (1 + gamma * iter) ^ (- power)

o    - multistep: 如果设置为multistep,则还需要设置一个stepvalue。这个参数和step很相似，step是均匀等间隔变化，而multistep则是根据                                stepvalue值变化

o    - poly:  学习率进行多项式误差, 返回 base_lr (1 - iter/max_iter) ^ (power)

o    - sigmoid:　学习率进行sigmod衰减，返回 base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))

gamma: 学习率变化比率。用于调整学习率的一个参数。

power: 也是用于调整学习率的一个参数

momentum: 上一次梯度更新的权重，一般取值在0.5--0.99之间。通常设为0.9，momentum可以让使用SGD的深度学习方法更加稳定以及快速。

weight_decay: 权重衰减项，防止过拟合的一个参数。weight decay（权值衰减）使用的目的是防止过拟合。在损失函数中，weight decay是放在正则项（regularization）前面的一个系数，正则项一般指示模型的复杂度，所以weight decay的作用是调节模型复杂度对损失函数的影响，若weight decay很大，则复杂的模型损失函数的值也就大。。

snapshot: 每多少次保存一次学习的结果。即caffemodel。

snapshot_prefix：设置保存路径。

solver_mode: 设置使用GPU还是CPU进行学习训练。

device_id: GPU序列号，默认从０开始。

debug_info: 是否显示debug信息。

snapshot_after_train: 是否在训练结束后保存一个snapshot文件。便于以后可以在此基础上继续训练。

test_initialization:确保内存可用并且输出loss的初始值。

average_loss: 显示loss为之前average_loss个loss的平均值。

iter_size: 每处理iter_size＊batch_size张图片后进行一次梯度计算。

stepsize: 每多少次学习率递减。这里是迭代2218次学习率递减

type: 优化算法的选择，一共有六种可选：SGD、AdaDelta、AdaGrad、Adam、Nesterov和RMSProp。默认为SGD。

eval_type: 评价类型。

ap_version:计算平均准确率的方法。有11point、MaxIntegral、Integral三种。

11point：是SSD在VOC2007中计算AP的方法，11point是使用简单的均值计算

MaxIntegral：是VOC2012的最大值积分法

Integral：普通积分方法

show_per_class_result:在终端输出每一类的AP（每一类的检测精度）信息。