cs224u 自然语言推断:模型-3
__author__ = "Christopher Potts"
__version__ = "CS224u, Stanford, Spring 2020"
Sentence-encoding句子编码模型
现在我们来看看句子编码模型。它的特点是前提和假设在某种意义上有它们自己的表征,然后这些表征结合起来预测标签。Bowman等人2015年探索了这种形式的模型,作为介绍SNLI的一部分。
我们之前使用的前馈网络就是这个模型家族的成员:每个单词都被单独表示,这些表示的串联被用作模型的输入。
密集表示与线性分类器
最简单的句子编码模型对前提的单词表示及假设的单词表示求和(或求平均),将这两个表示连接起来用作线性分类器的输入。
下面是这个模型的实现,其中
- GloVe嵌入词向量
- 单词分布式表示求和。
- 将前提向量和假设向量连接起来。
- 使用了一个softmax分类器。
g