总结:准备了NLP的一个系列-源码基于tensorflow2.0,从2014年的seq2seq到2019年Transformer-XL、GPT-2
前言:自然语言处理(NLP)是人工智能应用里比较成熟的领域,本系列笔记从2014年开始至2019年回顾记录NLP里的语言模型阿、循环神经网络阿什么的等等来介绍NLP,最后实战一到2个NLP机器人对话应用,
目录:
1. 2014年 SEQ2SEQ,GRU
learning phrase representations
seq2seq learning with nn
2.2015年
Attention概念出现及延伸
Neural Machine Translation
Effective approaches to attention-based nmt
3. 2016年 Attention概念出现及延伸
Attention sum reader network
Neural Machine Translation with Reconstruction
4. 2017年
CNN取代RNN,做Attention
Convolutional seq2seq learning
Attention is all you need
5. 2018年
ELMO 双向LSTM LM 做embedding
GPT 预训练Transformer
Bert 深度双向预训练Transformer
6. 2019年
Transformer-XL 超长上下文,相对位置编码
GPT-2 15亿参数Transformer