1、常调节的超参数
-
学习率
-
动量梯度下降中的 k
-
每层的神经元个数 n
-
子训练集 mini-batch 的大小
-
神经网络层数 L
-
学习率控制衰减超参数 decayRate
2、调节方法
网格搜索法：效率很低，不推荐使用
随机搜索法：在合理的取值范围之内，随机选取一些点。可以尝试更多不同的超参数值，先寻找到大概适合的值，将参数确定在该
点的周围区域，然后进行更精密的搜索
3、采样标尺
随机搜索可以叫做随机采样，或者随机均匀采样。
假如取值范围是 0.0001 - 1
线性标尺：
指数标尺：