激活函数有很多种,目前常见的有sigmoid,Tash,ReLU,LeakyReLu等
具体代码实现如下:
零.准备操作
# 调用库及函数自变量定义
import numpy as np
import matplotlib.pyplot as plt
x = np.linspace(-5, 5)
一.sigmoid函数
主要作用是将该函数值压缩到0-1,如果是特别大的正数,输出1;如果是特别大的负数,输出0
y_sigmoid = 1/(1+np.exp(-x))
plt.plot(x, y_sigmoid)
plt.show()
二.Tash函数
该函数对比sigmoid来说,使得输出的均值为0
y_tanh = (np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))
plt.plot(x, y_tanh)
plt.show()
三.ReLU函数
y_relu = np.array([0 if item<0 else item for item in x ])
plt.plot(x, y_relu)
plt.show()
四.Leaky ReLU函数
0.3可以换成其他的常数,其目的就是使负半轴加上固有的斜率
y_leakyrelu = np.array([0.3*item if item<0 else item for item in x])
plt.plot(x, y_leakyrelu)
plt.show()