本文对笔者学习过程中用到的激活函数做一个汇总,在需要复习的时候看这篇文章就够了。参考的资料过于繁杂这里不再列出。
y = 1 1 + e − z y=\frac{1}{1+e^{-z}} y=1+e−z1
g ( x ) = t a n h ( x ) = e x − e − x e x + e − x g(x)=tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}} g(x)=tanh(x)=ex+e−xex−e−x g ′ ( x ) = 1 − [ g ( x ) ] 2 g'(x)=1-[g(x)]^2 g′(x)=1−[g(x)]2
y = m a x ( 0 , z ) y=max(0,z) y=max(0,z)
softmax ( z ) i = exp ( z i ) ∑ j exp ( z j ) \operatorname{softmax}(z)_{i}=\frac{\exp \left(z_{i}\right)}{\sum_{j} \exp \left(z_{j}\right)} softmax(z)i=∑jexp(zj)exp(zi) 对多类别分类,概率和为1