Multi-Perspective Context Matching for Machine Comprehension论文笔记

(1)论文解决SQuAD数据集上的答案预测问题:1、通过乘以根据问题计算的相关权重来调整文档的词嵌入向量;2、通过双向LSTMs编码问题和加权后的文档;3、通过预测答案的开头和结束位置来得到答案。

(2)论文预测答案的方法基于假设:如果这个上下文与问题非常相似,则这个范围很可能是正确答案。

(3)任务:选择开始与结束位置概率最高的位置

ab为答案开始位置,ae为答案结束位置

(4)模型结构

                                                                

        1、Word Representation Layer

                   使用d维向量表示question与passage中的每个词,使用word embeddings 和 character-composed embeddings来构造该向量。word embedding是使用训练好的GloVe向量,字符嵌入                 通过将单词的每个字母送入LSTM来构造。该层的输出是词向量序列

                    

        2、Filter Layer:目的过滤冗余信息,与问题相关性大的单词权重更大

扫描二维码关注公众号,回复: 5589716 查看本文章

                    通过计算question与passage单词的余弦相似度,得到相似性矩阵,通过将Pi乘以相关性得到Pi'

                        

        3、Context Representation Layer

                    进行上下文编码,使用双向LSTM

            

        4、Multi-Perspective Context Matching Layer

                W为l*d矩阵,l为perspective的数目,v1v2为d维向量

                    对位相乘,Wk为W第k行        

            采用三种匹配策略,将得到的向量连接后为mj        

                                                      

            5、Aggregation Layer:使用BiLSTM训练4得出的匹配向量,得到aggregation vector。为了将passage的每个时间步考虑到上下文信息

          6、预测层:使用前馈神经网络算出ab,ae的概率,再通过softmax层归一化,选出最大值

(5)结果

                    

(6)问题:答案都为上下文中出现的连续单词

猜你喜欢

转载自blog.csdn.net/Capricorn_devil/article/details/86790263