CNN
在普通的全连接网络或CNN中，每层神经元的信号只能向上一层传播，样本的处理在各个时刻独立，因此又被成为前向神经网络(Feed-forward Neural Networks)。
后来查到CNN是受语音信号处理中时延神经网络（TDNN）影响而发明的，TDNN通过在时间维度上共享权值，方便学习。
CNN的有三个重要的思想架构
1）局部区域感知;
2）权重共享;
3）空间或时间上的采样
CNN与标准BP的不同
卷积神经网络是在BP神经网络的改进，与BP类似，都采用了前向传播计算输出值，反向传播调整权重和偏置；
CNN与标准的BP最大的不同是：CNN中相邻层之间的神经单元并不是全连接，而是部分连接，也就是某个神经单元的感知区域来自于上层的部分神经单元，而不是像BP那样与所有的神经单元相连接。