5.1 神经元模型
神经网络中最基本的单位是神经元模型,在生物神经网络中,每个神经元与其他神经元相连,当“兴奋”时,就会向相连的神经元发送化学物质,改变神经元内电位,若超过了某个“阈值”,那么它就会被激活,即“兴奋”起来。
M-P神经元模型:
“激活函数”可以处理输入信号以产生神经元的输出
典型的神经元激活函数:
5.2 感知机与多层网络
感知机由两层神经元组成,输入层接受外界信号给输出层,输出层是M-P神经元,亦称“阈值逻辑单元”。
感知机能容易的实现与,或,非运算。
感知机只有输出层神经元进行激活函数处理,即只拥有一层神经元,学习能力有限。感知机能解决的与或非均为线性可分问题,但不能解决异或这种简单的非线性可分问题
若要解决,就需要使用多层功能神经元
6.3 误差逆传播算法
训练多层网络,误差逆传播(BP)是最杰出的代表,是迄今最成功的神经网络学习算法。
BP算法不仅可用于多层前馈神经网络,还可用于其他类型的神经网络。
BP 算法工作流程:
BP算法的目标是要最小化训练集D的累积误差
根据图5.8如果类似的推导出基于累计误差最小化的更新规则,就得到了累计误差逆传播算法,
标准BP算法每次针对单个训练样例更新权值与阈值。累计BP算法其优化目标是最小化整个训练集上的累计误差。在很多任务中,累计误差下降到一定程度后,进一步下降会非常缓慢,这是标准BP算法往往会获得较好的解,尤其当训练集非常大时效果更明显。
由于强大的表示能力,BP神经网络经常遭遇过拟合,训练误差持续降低,但测试误差却可能上升。有两种策略可以缓解。第一是 早停。第二是 正则化。
5.4 全局最小与局部极小
此外,遗传算法也常用来训练神经网络以更好地逼近全局最小。
5.5 其他常见神经网络
RBF网络
ART网络
SOM网络
结构:
SOM训练目标:为每个输出层神经元找到合适的权向量以保持拓扑结构
级联相关网络
将网络的结构也当做学习的目标之一,往往在训练过程中找到适合数据的网络结构
与一般的前馈神经网络相比,级联相关网络无需设置网络层数,隐层神经元数目,且训练速度较快,但数据较小时容易陷入过拟合。
Elman网络
Bolyzmann机
5.6 深度学习
典型的深度学习模型就是很深层的神经网络。
另一种节省开销的策略是”权共享“,即让一组神经元使用相同的权连接。这个策略在卷积神经网络中发挥的重要作用,以CNN进行手写数字识别任务为例,如图