版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/BaiHuaXiu123/article/details/82709308
学习器模型中一般有两种参数:
- 一种参数是可以从学习中得到
- 一种无法靠数据里面得到,只能靠人的经验来设定,这类参数就叫做超参数
超参数定义
超参数是在开始学习过程之前设置值的参数。 相反,其他参数的值通过训练得出。
- 定义关于模型的更高层次的概念,如复杂性或学习能力。
- 不能直接从标准模型培训过程中的数据中学习,需要预先定义。
- 可以通过设置不同的值,训练不同的模型和选择更好的测试值来决定
超参数示例:
- 聚类中类的个数
- 话题模型中话题的数量
- 模型的学习速率
- 深层神经网络隐藏层数
- 迭代次数
- 每层神经元的个数
- 学习率 η
- 正则化参数
- 神经网络的层数
- 学习的回合数Epoch
- 小批量数据 minibatch 的大小
- 代价函数的选择
- 权重初始化的方法
- 。。。
超参数调节方法
- 网格搜索
- 随机搜索
- 贝叶斯优化
- 基于梯度的优化
- 遗传算法的实践