【激活函数】h-swish激活函数详解

       Swish 激活函数已经被证明是一种比 ReLU 更佳的激活函数,但是相比 ReLU,它的计 算更复杂,因为有 sigmoid 函数。为了能够在移动设备上应用 swish 并降低它的计算开销, 提出了 h-swish。

● swish 激活函数:

在这里插入图片描述
● h-swish 激活函数:

在这里插入图片描述

● 图像

在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/Roaddd/article/details/114839412