前言
Attention是一种思想,在当前输出上,是存在部分输入需要重点关注的,其对该输出贡献非常大。之前看到几篇关于attention思想的应用文章,现对比下其中的Attention具体结构上的区别。
NMT using Attention
这篇文章是Bahdanau的2015年佳作,将Attention引入到NMT中并取得了非常好的效果,其中的attention结构不是非常容易理解。
NMT面临的问题:通常的Encoder-Decoder翻译模式下,Encoder会将所有必要的信息压缩到一个定长向量中,而Decoder则依赖这个定长向量来做翻译。定长向量成了制约翻译效果的瓶颈,拓展模型自动寻找与待预测部分相关的source作辅助,会有更好的效果。该方法的主要思路是:每次翻译某个词之前,先找到source中最相关信息的位置,然后利用包含这些位置信息及之前预测词的context vector来预测下个词。其最大的特点:将输入序列编码到序列向量中,自适应地选择其子集供翻译时使用。
让我们仔细地研究下Decoder其中的公式关系。
当预测某个词时:
依赖于三个变量,前刻预测词 ,当前的隐状态 ,当前的上下文向量 。
而当前的隐状态:
上下文向量 涵盖了当前待预测词 需要关注的source信息总和, 。到底需要关注哪些source信息呢?对输入序列的对应定义 解释变量 ,该变量描述了输入序列位置 处及附近的信息。 则表示当前待预测词 与source词 附近信息的 相关性程度(对每个 的关注度)。
疑问1:为什么不直接model 与 的关系呢?后文后有解释。
疑问2:如何具体表示 呢?
,根据所有输入词对 的相关值 作normalize,得到归一化的概率权重,其中
疑问3:如何理解 能够描述source词 )与 相关性。
表达的是输入 附近与输出位置 的相关性评估, 反映了 在考虑前刻隐状态 在决定当前隐状态 和生成预测值 时的某种重要性。
还是那个问题, 为什么不直接model 和 的关系?一方面,会跳过解释变量 ,没法跟当前的RNN模型结合在一起;另一方面,在预测时,不能直接得到 的变量来计算(因为还没预测到),必须要借助前刻的信息 ,而 也刚好包括前刻的必备信息。
疑问4:关联函数 怎么表达呢?
这里用了个前向网络 来表达(concate的形式,后面会介绍有好几种alignment形式),与模型一块训练。
疑问5:如何在翻译模式中体现 呢?
输入序列的解释变量 如何实现的?与 是什么结构关系?解码器: Bidirection GRU for ,可以得知 是BRNN的隐状态,那么 又是什么呢?Encode时和Decode时的隐状态名称不同,前者称为 ,后者称为 ,这下明白了吧。
来个Google的带有Attention的NMT动图,看下Encoder和Decoder在注意力机制下是如何交互的。
Global/Local Attention-based NMT
Luong2015年的非常经典的文章,探索了Attention在NMT中的应用性,基于如何得到上下文向量
,定义了两种attention的结构形式,分别命名为global和local Attention。
其中Global考虑Encoder的所有隐状态来生成上下向量
,而Local Attention则是仅考虑局部隐状态来生成上下文向量
,两种结构如下图描述:
定义了几种target的隐状态 与source的解释变量(隐状态) 之间的相关性评估函数,如下:
注意:这里的 的下标只是定义方便,在使用的时候,还是第一小节里面的 ,预测某个 时的target输入隐状态。
在Location的 第一种形态下location-m,直接指定 ,然后使用窗口 内解释变量。而在Location的 第二种形态location-p,对align关系引入波峰强度变化,以某个 为中心呈正态分布。
局部中心的函数定义为:(其中 是source长度)
align weight定义为:
其中 , , 。
为了在预测时,告知模型以往的align决策,将 也作为当前预测的输入,称其为 Input-Feeding Approach。【这个地方,感觉好像也没什么必要,不管是global还是local里面,都有 对 作贡献(隐藏着收敛效果),是不是就可以不用了】converage set 指的是,在翻译任务中通常会包括份收敛集,来记录追踪哪些source词已经被翻译了。在带有Attention的NMT中,align决策也需要知道之前的align信息。在Global和Local结构中,align决策都是独立的,需要有个操作将之前的align决策告诉当前的预测操作,因此需要单独的结构来完成这一功能,因此Input-Feed还是有必要的(可能这也是虽然结构简单但是效果仍然非常好的另外一个助力)。
Neural Image Caption Generation with Visual Attention
图像注释问题非常接近于Encoder-Decoder结构,在生成图像的某部分描述时,能够集中于图像某部分,Attention是个非常匹配的机制。K Xu2015时在图像注释的工作中使用Attention机制,命名为Visual Attention。其中定义了两种Attention机制:Stochastic Hard Attention 和 Deterministic Soft Attention,都可以压缩一张图片用以生成一段语言描述。
使用卷积网络CNN来提取图像特征作为解释变量,提取
个解释向量,每一个都表示了图像的某一部分。
,为了能够描述更基础的图像特征,在底层卷积层上来抽取解释向量;用LSTM来作为解码器,生成描述语句。
1)Stochastic Hard Attention
表示生成第
个词时,第
部分图像被关注(一共
部分)。将注意位置作为隐变量,可以将由解释变量
确定的上下文
看作是随机变量【一方面,为随机选择关注部分图像作解释,一方面为采样寻优方法作约束】。
定义目标函数 ,其下限值逼近于
上式指出基于MonteCarlo的采样方法来估计参数梯度是可行的,通过对 决定的Multinoulli分布采样具体位置 ,来估计参数导数,如下:
引入滑动平均来降低估计方差波动,对第 个mini-batch,如下处理:
为进一步降低估计方差,引入熵 ,
最终的梯度如下:
是两个超参,上述式子相当于强化学习,对注意集中的后续动作收益是目标句子的似然概率值,在采样注意策略下。
为什么称之为Hard Attention呢?是因为上下文 所用的解释向量是通过服从 的分布采样得来的。
2)Deteriministic Soft Attention
若是不使用采样,而是直接使用所有的区域,就变成了soft attention,在Bahdanau的15年文章里就是类似的方法。
总结
Attention的基本结构:
1)可用采样估计梯度优化的Hard形式。
2)可直接计算梯度来优化的Soft形式。
Reference
- 2017 - 《Attention is All You Need》
- 2015 - 《Neural Machine Translation by Jointly Learning to Align and Translate》
- 2015 - 《NMT by Jointly Learning to Align and Translate》 source-code
- 2015 - 《Effective Approaches to Attention-based Neural Machine Translation》
- 2015 - 《Effective Approaches to Attention-based NMT》 source-code
- 2015 - 《Show, Attention and Tell: Neural Image Caption Generation with Visual Attention》
- 2015 - 《Deep Visual-Semantic Alignments for Generating Image Descriptions》
- https://ai.googleblog.com/2016/09/a-neural-network-for-machine.html