首先,tensorflow2.0没有GELU激活函数,所以必须自定义GELU激活函数。
其次,自定义代码如下:
第一步:import tensorflow as tf
第二步:class GELU(layers.Layer): def __init__(self): super(GELU, self).__init__() def call(self, x): cdf = 0.5 * (1.0 + tf.tanh((np.sqrt(2 / np.pi) * (x + 0.044715 * tf.pow(x, 3))))) return x * cdf
第三步:
self.act=GRLU()
第四步:(call中使用)
x = self.act(x)