从感知机到深度学习发展史

原创不易，转载前请注明博主的链接地址：Blessy_Zhu https://blog.csdn.net/weixin_42555080
　

一从机器学习到深度学习

我们知道，Machine Learning分为两大派别：频率派和贝叶斯派；前者逐渐发展为统计学习，后者逐渐发展为概率图模型（PGM）
在这里插入图片描述
其中，频率派常用的思想有：正则化、核化、集成化、层次化；概率图模型常见的模型有：有向图模型如Bayesian Network，无向图模型如：Markov Network，有向+无向（混合）模型：mixed Network。

频率派中的层次化思想最主要的应用就是神经网络（Neural Network），神经网络有很多模型：MLP多层感知机，AutoEncoder自动编码机，CNN人工神经网络，RNN循环神经网络；这些统称为深度神经网络。而有向图如果加了Deep，就变成Deep Diercted Network,如Sigmoid 信念网络、GAN生成式对抗网络，VAE变分自编码器；无向图模型加了Deep，会有深层波尔兹曼机；有向+无向模型加了Deep，会有深度信念网络Deep Belief Network;他们统称为深化生成模型Deep Generative Model。
在这里插入图片描述
深度神经网络和深度生成模型这两部分组成Deep Learning。这就是由Machine Learning到Deep Learning的粗略过程。

二从感知机到深度学习历史

2.1 宏观描述

在这里插入图片描述
宏观来看，从1940年起，深度学习经历了三次打的浪潮。首先提出了MP模型Hebb(海布)学习规则.这是神经网络的起源，也奠定了神经网络的基础模型。
第一波浪潮。在1960年，提出了感知机模型，感知机模型可以对简单的数据节点进行分类，这个发现引起了第一波的AI浪潮，因为人们认为简单的感知机可以实现分类功能，那通过组合可以实现更复杂的功能，但后面发现感知机无法模拟异或运算，无法处理非线性的问题，第一波浪潮就这样沉入了低谷。
第二波浪潮。1980年Hopfiled网络，Boltzmann机和BP算法的提出，人们发现可以增加网络的深度来实现非线性的功能，所以开始了第二次浪潮。但是在80年代，计算机的计算能力十分有限，很难训练出一个有效的模型来使用，所以导致了这种方式始终处于鸡肋的状态。再加上同一时期浅层方法的成功，如SVM(1995)，使得人们转为研究浅层的方法。
1998年CNN被提出，也应用到了邮政局的邮政编码识别，但是因为当时并不重视这种深度网络，导致并没有火起来。
第三波浪潮。到了2006年，Hinton提出了DBN，解决了更深层次的网络是可以通过一些策略更好的训练和实现，所以就引起了现在深度学习的第三次浪潮。