目的:使网络捕捉到更丰富的特征/信息。
流程
1通过不同的head得到多个特征表达，比如self-attention中的矩阵Q*K的内积然后得出的特征
2将所有的特征拼接到一起
比如self-attention中的Z=A/(A+B+C)*V1+B/(A+B+C)*V2+C/(A+B+C)*V3
3再通过一层全连接层实现降维(softmax,relu)
计算:
目的获取X1,X2与Z1的关系(偏向X1),获取X1,X2与Z1的关系(偏向X2)
然后再进行一次self-attention分别得出特征r1与特征r2