RoBERTa: A Robustly Optimized BERT Pretraining Approach
相比于BERT的改进：
- 用更大的batchs、更多的数据对模型进行更长时间的训练
- 去除next sentence prediction 目标
- 使用较长序列的训练
- 动态改变应用于训练数据的mask模式。
RoBERTa记录
猜你喜欢
转载自blog.csdn.net/qq_43390809/article/details/110959244
今日推荐
周排行