1.LeNet-5中卷积核3×3和5×5的对比
实验要求不能调用现成的库函数,要从用for循环加乘实现卷积开始。
相当于自己写库函数,以后可以调用自己的库。
2.初始化参数能否都为0?
通过反向传播后,输入层与隐藏层之间的参数更新一样。隐藏层与其它层多个结点,相当于一个结点
w初始化全为0,很可能直接导致模型失效,无法收敛。
3.max函数的导数?
一个函数在某一点的导数描述了这个函数在这一点附近的变化率。导数的本质是通过极限的概念对函数进行局部的线性逼近。当函数的自变量在一点上产生一个增量时,函数输出值的增量与自变量增量的比值在趋于0时的极限如果存在,即为在处的导数。
mean pooling:
max pooling:
4.求解深度网络,除了反向传播外的其他方法?
正向传播、反向传播、双向传播
5.下个LeNet的预训练模型,跑跑看
实验
1*.看《out of control》
2.VGGNet 3×3×3怎么排
堆叠覆盖
3.VGG16和VGG19的图
PPT上的图:应把22233和22244 改成22333和22444