https://blog.csdn.net/qq_41058526/article/details/80578932
Effective Approaches to Attention-based Neural Machine Translation
https://www.cnblogs.com/guoyaohua/p/9429924.html
它有一个很大的优点就是可以可视化attention矩阵来告诉大家神经网络在进行任务时关注了哪些部分。
不过在NLP中的attention机制和人类的attention机制还是有所区别,它基本还是需要计算所有要处理的对象,并额外用一个矩阵去存储其权重,其实增加了开销。而不是像人类一样可以忽略不想关注的部分,只去处理关注的部分。