cs224u 自然语言推断:模型-3

cs224u 自然语言推断:模型-3

__author__ = "Christopher Potts"
__version__ = "CS224u, Stanford, Spring 2020"

Sentence-encoding句子编码模型

现在我们来看看句子编码模型。它的特点是前提和假设在某种意义上有它们自己的表征,然后这些表征结合起来预测标签。Bowman等人2015年探索了这种形式的模型,作为介绍SNLI的一部分。
我们之前使用的前馈网络就是这个模型家族的成员:每个单词都被单独表示,这些表示的串联被用作模型的输入。

密集表示与线性分类器

最简单的句子编码模型对前提的单词表示及假设的单词表示求和(或求平均),将这两个表示连接起来用作线性分类器的输入。
在这里插入图片描述
下面是这个模型的实现,其中

  • GloVe嵌入词向量
  • 单词分布式表示求和。
  • 将前提向量和假设向量连接起来。
  • 使用了一个softmax分类器。
g

猜你喜欢

转载自blog.csdn.net/duan_zhihua/article/details/107898731