1、介绍
本文介绍了一种新的神经激活函数Mish。在广泛的测试和实验进行了Mish比Swish和ReLU展示了更好的结果。
2. Mish
Mish是一种新的光滑非单调的神经激活函数,定义为:
Mish的图形如图1所示。
与Swish和ReLU一样,Mish有下界,无上界,取值范围为[≈-0.31,∞]。图2中Mish的导数定义为:
其中 ,。Mish在,最小值大小为
Mish通过使用一个名为Self的属性从Swish中获得灵感,其中标量输入被提供给gate。自选门的特性有利于替代像ReLU(点向函数)这样的激活函数,这些函数无需输入任何标量就可以接收单个标量更改网络参数。