深度学习之Attention Mechanism

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u010626937/article/details/81362943

参考文献


1、一文看懂 Attention 机制,你想知道的都在这里了。Enjoy!

这实际上是一篇翻译版的博文,原文在这里.这篇博文实际上只是简单的系统地介绍了attention机制的基本思想,以及它的一些应用。文章并不是特别长,读完之后,可以对attention机制有一个整体的认知。值得推荐的地方时,这篇文章在最后给出了一些学习attention的参考资料,可以进一步的学习,比较赞。

2、Attention and Memory in Deep Learning and NLP
这是Denny Britz大神的博客,之前在介绍RNN的时候也参考了一系列他的博文。本篇博文也是系统地介绍了Attention机制的基本原理及其简单应用,可以协助加深对Attention的理解。

3、ATTENTION MECHANISM
推荐阅读。这篇文章相对比较详细的介绍了attention mechanism是如何工作的(主要以是在RNN框架上为例),文中以image caption 为例,介绍了加入attention机制后的工作流程,可以加深理解。

4、Survey on Attention-based Models Applied in NL
这篇论文主要是对一些利用了Attention mechanism的论文进行了简单的解析,应用方向主要是NLP,我只阅读了一半,若喜欢可以阅读。

5、Attention and Augmented Recurrent Neural Networks
强力推荐阅读。这篇文章主要是介绍了几种Augmented RNN模型框架,这些模型的共同特征是使用了类似于Attention的机制,介绍的比较形象,可以有助于加深理解。并且在文章的最后,还简单的比较了强化学习与注意力机制的区别。

6、What is exactly the attention mechanism introduced to RNN (recurrent neural network)?

Quora中的问答,里面有很多学者的回答,可以很好地帮助理解,并且也有很多分享的资料以及资源。

猜你喜欢

转载自blog.csdn.net/u010626937/article/details/81362943