CNN卷机神经网络

0.转载自：https://www.cnblogs.com/fydeblog/p/7450413.html

1.基本概念

四项基本原则:局部互联、共享权值、下采样以及使用多个卷积层
感受野：如果眼睛没有移动，则视觉刺激影响单个神经元的视觉空间区域被称为其感受野（Receptive Field）
神经感知机(neocognitron)的提出，标志了第一个初始的卷积神经网络的诞生，也是感受野概念在人工神经网络领域的首次应用，神经认知机将一个视觉模式分解成许多子模式（特征），然后进入分层递阶式相连的特征平面进行处理。
时不变神经网络(Shift-invariant neural network)的提出，将卷积神经网络的功能进行了一次提高，使其能够在即使物体有位移或轻微变形的时候，也能完成识别。
卷积神经网络的前馈架构在神经抽象金字塔（Neural abstraction pyramid）中被横向和反馈连接扩展。所产生的复现卷积网络允许灵活地并入情景信息以迭代地解决局部模糊。与以前的模型相反，产生了最高分辨率的图像输出。
2005出现了一篇GPU实现CNN的paper，标志了一种实现CNN更有效的方式，之后在2012年ImageNet大赛中CNN由于其高精确度脱颖而出，于是，深度学习正式进入人们的视野。

2.CNN基本模块

CNN由输入和输出层以及多个隐藏层组成，隐藏层可分为卷积层，池化层、RELU层和全连通层。
在卷积神经网络中,卷基层和全连接层(统称权值层,因为他们有weight参数)是需要学习的,在设计求解器时,学习速率参数的设置也是针对这两个层.

2.1 输入层

CNN的输入一般是二维向量，可以有高度，比如，RGB图像

2.2 卷积层

卷积层是CNN的核心，层的参数由一组可学习的滤波器（filter）或内核（kernels）组成，它们具有小的感受野，延伸到输入容积的整个深度。在前馈期间，每个滤波器对输入进行卷积，计算滤波器和输入之间的点积，并产生该滤波器的二维激活图（输入一般二维向量，但可能有高度（即RGB））。简单来说，卷积层是用来对输入层进行卷积，提取更高层次的特征。

2.3 池化层

池化层又称下采样，它的作用是减小数据处理量同时保留有用信息。
通常池化层是每邻域四个像素中的最大值变为一个像素，即max_pooling
在这里插入图片描述

2.4 RELU层

RELU，全名将修正线性单元，是神经元的激活函数，对输入值x的作用是max(0,x)

2.5 全连通层

这个层就是一个常规的神经网络，它的作用是对经过多次卷积层和多次池化层所得出来的高级特征进行全连接（全连接就是常规神经网络的性质），算出最后的预测值。

2.6 输出层

输出层就不用介绍了，就是对结果的预测值，一般会加一个softmax层。

3. CNN的特点

这里主要讨论CNN相比与传统的神经网络的不同之处，CNN主要有三大特色，分别是局部感知、权重共享和多卷积核。

3.1 局部感知

局部感知就是我们上面说的感受野，实际上就是卷积核和图像卷积的时候，每次卷积核所覆盖的像素只是一小部分，是局部特征，所以说是局部感知。CNN是一个从局部到整体的过程（局部到整体的实现是在全连通层），而传统的神经网络是整体的过程。

图形描述：
在这里插入图片描述

3.2 权重共享

传统的神经网络的参数量是非常巨大的，比如1000X1000像素的图片，映射到和自己相同的大小，需要（1000X1000）的平方，也就是10的12次方，参数量太大了，而CNN除全连接层外，卷积层的参数完全取决于滤波器的设置大小，比如10x10的滤波器，这样只有100个参数，当然滤波器的个数不止一个，也就是下面要说的多卷积核。但与传统的神经网络相比，参数量小，计算量小。整个图片共享一组滤波器的参数。

3.3 多卷积核

一种卷积核代表的是一种特征，为获得更多不同的特征集合，卷积层会有多个卷积核，生成不同的特征，这也是为什么卷积后的图片的高，每一个图片代表不同的特征。

4.dropout

dropout是一种正则化的方法，应用在CNN中，主要解决CNN过拟合的问题。

具体做法:
在每个隐藏层的输入进行一个概率判决，比如我们设置概率为0.5（通常命名为keep_prob）,根据0.5，我们生成一个跟隐藏层神经元个数的向量，true:false的比例是1：1（因为keep_prob=0.5），与隐藏层的输入进行相乘，那么会有一半隐藏层的神经元被丢掉，不起作用，整个网络变得简单了，就会从过拟合过渡到just right 。这是组合派的说法，andrew也是这么讲的，文末链接中还有一派噪声派的说法，也很有意思，可以看看！

图形理解（这个keep_prob等于0.4，即2/5）：
在这里插入图片描述