网络容量:
网络中的神经单元数量越多,层数越多,神经网络的拟合能力越强。
但是训练速度、难度越大,越容易产生过拟合。
如何选择超参数:
所谓超参数,也就是搭建神经网络中,需要我们自己去选择的那些参数(不是通过梯度下降算法去优化的参数),比如中间层的神经元个数、学习率等。
如何提高网络的拟合能力:
1.增加层
2.增加隐藏层的神经元个数
对于这两种方法,单纯地增加神经元个数对于网络性能的提高并不明显(但每层的神经元个数也不能过小,否则会产生信息瓶颈,这样的话就会导致丢失一些信息,使得模型欠拟合),增加层会大大提高网络的拟合能力,这也就是为什么现在深度学习的层越来越深的原因
参数选择原则:
一、首先是开发一个过拟合的模型:
1.添加更多的层
2.让每一层变得更大
3.训练更多的轮次
二、然后是抑制过拟合:
1.添加dropout
2.正则化
3.图形增强:平移、翻转。。。
三、再次,调节超参数:如学习率、隐藏层单元数、训练轮次等
总结:
超参数的选择是一个经验与不断测试的结果。
经典的机器学习的方法,如特征工程、增加训练数据也要做。
也可以使用交叉验证。