1 学习率的搜索策略
我们采用双向搜索的方法进行搜索；
也就是从初始学习率，按照增大学习率和减小学习率两个方向进行搜索；
于是在分方向进行搜索之前，我们需要设置学习率的初始搜索点，
搜索点的初始设置可以根据原始论文进行设置，（如果没有找到原始论文，则可以将初始搜索点设置为1.0e-3）
1.1 初始搜索方向的选择——从“增大学习率”方向开始搜索
从“增大学习率”方向开始搜索有几个优点，首先就是大的学习率训练起来速度比较快，而且大学习率在出现梯度碰撞时容易触发搜索中止的条件，所以先从增大学习率方向开始搜索还是挺好的～