NLP领域实验
参考:NLP 竞赛经验总结-2021 - 知乎 (zhihu.com)
1.NLP模型训练用到的通用技巧
- 数据增强
- 数据清洗
- 对抗训练 + 混合精度
- 多模型融合
- 半监督训练
现在的NLP竞赛,基本都会使用BERT,各种体量的BERT确实效果会很好,建议使用HuggingFace的transformers包,调用和调试都很方便。
- 百度举办 语言与智能技术竞赛
- 法研杯
- 讯飞杯
参考:NLP 竞赛经验总结-2021 - 知乎 (zhihu.com)
现在的NLP竞赛,基本都会使用BERT,各种体量的BERT确实效果会很好,建议使用HuggingFace的transformers包,调用和调试都很方便。