神经元:一个神经元就是一个线性分类器
梯度:函数(曲线)的倾斜度或斜率,偏导.
梯度消失:
激活函数:用来加入非线性因素的(单方面理解:引入曲线函数),因为线性模型的表达能力不够,使用激活函数(分线性因素)解决线性模型所不能解决的问题。
线性函数:直线函数.(在线性代数里,线性函数是一个线性映射,即线性变换。)
阈值函数:(threshold function),也就是大于某个值输出1(被激活了),小于等于则输出0(没有激活)。这个函数是非线性函数。
Sigmoid函数:
是一个在生物学中常见的S型的函数,也称为S型生长曲线。[1] 在信息科学中,由于其单增以及反函数单增等性质,Sigmoid函数常被用作神经网络的阈值函数,将变量映射到0,1之间。
公式: 函数曲线:
双切正切函数(tanh)
取值范围[-1,1].tanh是双曲函数中的一个,tanh()为双曲正切。在数学中,双曲正切“tanh”是由基本双曲函数双曲正弦和双曲余弦推导而来。
公式: 函数曲线:
线性整流函数(ReLU)
大于0的留下,否则一律为0。ReLU又称修正线性单元, 是一种人工神经网络中常用的激活函数(activation function),通常指代以斜坡函数及其变种为代表的非线性函数。
通常意义下,线性整流函数代指代数学中的
斜坡函数,即
而在神经网络中,线性整流函数作为神经元的激活函数,定义了该神经元在线性变换
之后的的非线性输出结果。换言之,对于进入神经元的来自上一层神经网络的输入向量
,使用线性整流激活函数的神经元会输出
函数曲线:
损失函数:
作用:将一个神经元转化成线性分类器。
分类器:
Binary Softmax classifier(二值柔性最大值分类器)
算法:
感知机算法: