注：本文内容非作者笔记，是作者平时看公众号的论文推送与介绍（比如paperweekly, 哈工大SCIR等），觉得不错的，有空可以精度的NLP相关的论文，将他们复制整理在本文中，以便之后有需要时回顾。

本文的论文主要是自然语言表征相关，比如词的表征，句子的表征等等

来源：哈工大SCIR
推荐人：石继豪（研究方向：社会计算、智能金融）
论文题目：An Efficient Framework For Learning Sentence Representations
作者：Lajanugen Logeswaran, Honglak Lee
出处：ICLR 2018
论文主要相关：句子表示学习
简评：本文提出了一个新的句子表示学习方法。自然语言能够以不同的表达方式传达同一个语义信息。现有的句子表示学习模型（比如skip-thought）在这一任务上不仅学到了语义信息，还学到了与语义无关的表达方式。文章从这里作为切入点，本文没有刻意强调表达方式，而是将encoder-decoder模型的解码过程替换为分类过程，这样也有效的避开了在整个词表上进行空间搜索带来的计算代价高的问题。进而本文提出了一种简单高效的框架，采用无标注数据学习句子的表示，并且将这种方法称为quick-thought（QT）。
通过与skip-thought模型进行对比，可以发现即使一个语句在表达方式上其主句与从句的顺序不同，本文的方法仍然能够识别出是相似的语义表示。在许多需要理解语义信息的任务上如电影评论、产品评论、主题分类、观点极性等，通过与前人的工作进行大量的对比实验，其实验结果和训练速度都能更胜一筹。
论文链接：
https://openreview.net/pdf?id=rJvJXZb0W

源代码链接：
https://github.com/lajanugen/S2V

来源：哈工大SCIR
推荐人：罗观柱（研究方向：情感分析）
论文题目：Learned in Translation: Contextualized Word Vectors
作者：Bryan McCann, James Bradbury, Caiming Xiong, Richard Socher
出处：NIPS 2017
论文主要相关：上下文相关词向量，迁移学习
简评：在计算机视觉领域，“预训练（pretrained）”的权重等参数可以复杂多样的嵌入在下游模型中，如在ImageNet数据集预训练的CNNs模型已经用于其他相关任务的初始化。而在自然语言处理领域，“预训练”往往仅使用了预训练的词向量，如word2vec、GloVe等，对于这些词向量而言每个词是孤立的，几乎不含句中的上下文信息，可以说这些预训练的词向量是浅层的，并没有很好的利用“预训练”的优势，比如就浪费了词的上下文信息等。在本论文中，作者提出了一种更加深层的“预训练”，即利用在机器翻译任务中预训练好的编码器来产生新的带上下文的词向量CoVe。作者发现将CoVe应用到下游的多项任务能较大提升效果，其中对于细粒度情感分析（SST-5数据集）和自然语言推理（SNLI数据集）任务达到了state of the art（2017年）。
具体的讲，作者通过英语-德语机器翻译任务训练了一个神经网络模型的encoder，进而到基于上下文向量CoVe。然后将CoVe和GloVe等常规词向量通结合得到用于下游特定任务的输入，最终提升任务模型的性能。
论文链接：
https://arxiv.org/abs/1708.00107
源码链接：
https://github.com/salesforce/cove