偏执值的意义

神经元的输出,在作用激励函数(也有称激活函数)之前,是权重和输出的点积,形如:
w·x+b的形式,wx可以理解,b代表什么意思?
最初的最简单神经网络,输入输出是线性变换,当权重和输出的点积大于某一个阈值的时候,输出1,否则输出0.如下
w·x>t------输出1
w·x<t------输出0
t衡量输出1的难易度。这个算式变换一下:
w·x-t>0----输出1
w·x-t<0----输出0
我们用b代替-t。这就是偏执值。所以b也是衡量激活难易的参数。这一方式貌似发展到有激活函数的神经网络后就用处不大,比如有的网络就取消了b参数简化运算。

猜你喜欢

转载自blog.csdn.net/qq_31150463/article/details/84135772