fastai2017(二)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/yeyustudy/article/details/82874017

1、最大池化的作用:1)保持了平移不变性2)进行池化操作后,每一次卷积能覆盖更大的区域,即能提取更复杂的特征,增大了感受野。
2、理论上来说,cnn可以用于任何具有顺序的信息
3、在建立keras模型时,可以先从批量正则化开始,这样会先预处理输入数据
4、pseudo label:貌似是一种半监督的方法,取一部分数据进行训练得到伪标签,将这些伪标签与真实的标签结合在一起,对数据进行训练
5、元数据与协同过滤的类比:元数据就好比是通过调查问卷的结果来看喜欢的电影种类,而协同过滤是找到跟你相似的人,观察他们习惯的电影
6、进行模型迁移的时候,如果两者目的相似度较高,尽量训练少的参数,即尽量调整最后的几层,训练最后的几层全连接层甚至只训练最后一层即可;当观察训练结果,并没有出现过拟合现象的时候,可以保留模型的卷积层,重写全连接层,去掉其中的dropout操作,之后根据前后参数数量的变化重新复制权值,最后只训练这一部分即可;为了提高效果,在最开始进行数据增强处理,在后面的神经网络中加入批量正则化操作,复制权值后进行训练,训练的层越少越好。

猜你喜欢

转载自blog.csdn.net/yeyustudy/article/details/82874017