SoftMax激活函数介绍
上次笔记介绍了一个新的Cost函数,改进了神经网络,这个笔记将介绍一张面向多分类的SoftMax激活函数
SoftMax定义了神经网络新型的输出方法,他不改变神经网络的加权输入(即中间量Z):
回顾下神经网络的输入输出流程
神经网络结构
神经元输入输出过程
前一层的输出值作为后一层的输入值,经过加权求和并加上偏向得到中间变量Z,然后通过激活函数(非线性转化)得到这个神经元的值
sigmoid函数公式:
新型激活函数SoftMax公式(向量形式表示的公式):
关于激活函数感觉没有什么好介绍的,纯粹的公式
需要注意的是:sigmoid一般用于二分类问题,而SoftMax用于多分类问题