（感知器P）              （前馈神经网络FF）

（Hopfeild网络HN：每个节点在训练前输入，然后在训练期间隐藏并输出。）

（玻尔兹曼机BM：只有一些神经元被标记为输入神经元，而其他神经元保持“隐藏”。）

（限制玻尔兹曼机RBM：RBM有更好的可用性，因为他只将每个神经元组连接到每个其他组）

HN和BM特点：每个神经元相互连接，他们的前身是马克夫链MC

（自编码器AE：自动编码信息(如压缩，而非加密)）

（稀疏自编码器SAE：在中央层，网络不是收敛的而是扩张的，这种类型的网络可以用于提取数据集的特征。）

（变分自编码器VAE）

（去噪自编码器DAE）

（卷积神经网络CNN：主要用于图像处理，倾向于使用一个输入“扫描仪”，而不是一次性解析所有的训练数据。输入猫的图片得出结论猫）

（反卷积神经网络DN：输入猫这个词的得出一个类似于猫的图）

（深度卷积逆向图网络DCIGN：用来学习对图像进行复杂转换——简称P图）

（生成式对抗网络GAN：由任何两个网络构成(尽管通常情况下是前馈神经网络和卷积神经网络配对)，其中一个网络负责生成内容，另外一个负责对内容进行判别。）

（循环神经网络RNN：用于预测未来信息或者补全信息）

（长短时记忆网络LSTM：在RNN基础上每个神经元有一个记忆单元和是三个门结构：输入、输出和忘记。）

（门控循环单元GRU：加入更新门确定了从上一个状态保留多少信息以及有多少来自上一层的信息得以保留。在不需要额外表现力的情况下，GRU可能优于LSTM。 ）

（神经图灵机NTM：黑箱化的LSTM）

（深度残差网络DRN：具有非常深度的前馈神经网络，除了邻近层之间有连接，它可以将输入从一层传到后面几层。）

（回声状态网络ESN：神经元之间随机地连接(即，层与层之间没有统一的连接形式)）

（液体状态机LSM：带有脉冲的回声状态网络）

脉冲神经网络：sigmoid激活函数被阈值函数所取代，每个神经元是一个累积记忆单元(memory cell)。所以当更新神经元的时候，其值不是邻近神经元的累加，而是它自身的累加。一旦达到阈值，它会将其能量传递到其他神经元。这就产生一种类似脉冲的模式：在突然达到阈值之前什么也不会发生。

（极限学习机ELM：本质上是随机连接的前馈神经网络。）

支持向量机(Support vector machines , SVM)发现了分类问题的最佳解决方式。传统的SVM一般是处理线性可分数据。比如，发现哪张图片是加菲猫，哪张图片是史努比，而不可能是其他结果。在训练过程中，支持向量机可以想象成在(二维)图上画出所有的数据点(加菲猫和史努比)，然后找出如何画一条直线将这些数据点区分开来。这条直线将数据分成两部分，所有加菲猫在直线的一边，而史努比在另一边。最佳的分割直线是，两边的点和直线之间的间隔最大化。当需要将新的数据分类时，我们将在图上画出这个新数据点，然后简单地看它属于直线的那一边。使用核技巧，它们可以被训练用来分类n维数据。这需要在3D图上画出点，然后可以区分史努比、加菲猫和西蒙猫，甚至更多的卡通形象。支持向量机并不总是被视为神经网络。

（Kohonen网络KN：无需监督而是利用竞争型学习对数据进行分类）