abstract

先生成前提，接着转换成文本段落，最终组合成故事
技术: 模型融合以及门控注意力机制

introduction

seq2seq容易退化成语言模型，很难关注到故事之间的依赖关系
融合机制，force on 在提示和故事之间的联系

dataset

？对未知的单词标记和文档标记结尾建模，提高词汇量
！稀有单词和拼写错误非常多

approch

summerization: 句子建模 根据高级提示进行条件化(condition on)

分层

提出原因: 语言模型没有结构
方法:1.卷积生成故事前提
2.seq2seq遵循前提，生成结构化的句子

使用卷积的seq2seq

并行

门控注意力

cnn无法完成长时间的建模

模型融合

思考: 融合方式几乎无法创新
在训练方法上进行创新，或者更换模型

related work

故事生成

• 使用各种内容激发故事，例如使用照片Kiros et al. (2015)
• 将一些描述链接到短故事中Jain et al. (2017)
• 文本->事件 对事件进行故事建模 ->文本Martin et al. (2017)

分层文本生成

• 使用LSTM分层学习单词，句子，段落嵌入，然后将段落嵌入转换为文本 Li et al. (2015b)
• 根据上下文生成离散的潜在变量，然后生成以其为条件的文本。 Yarats and Lewis (2017)

模型融合

• 语言模型独立初始化seq2seq的编解码器 Ramachandran et al.(2016)
• 仅在推理时将语言模型和seq2seq模型的预测结合在一起 Chorowski and Jaitly (2016)
• 连接在一起的门控功能 Gul-cehre et al. (2015)
• 给定固定语言模型的情况下训练seq2seq模型，然后学习门以从语言模型中过滤信息。 Sriram et al(2017)