分类目录：《深入理解深度学习》总目录
相关文章：
· BERT（Bidirectional Encoder Representations from Transformers）：基础知识
· BERT（Bidirectional Encoder Representations from Transformers）：BERT的结构
· BERT（Bidirectional Encoder Representations from Transformers）：MLM（Masked Language Model）
· BERT（Bidirectional Encoder Representations from Transformers）：NSP（Next Sentence Prediction）任务
· BERT（Bidirectional Encoder Representations from Transformers）：输入表示
· BERT（Bidirectional Encoder Representations from Transformers）：微调训练-[句对分类]
· BERT（Bidirectional Encoder Representations from Transformers）：微调训练-[单句分类]
· BERT（Bidirectional Encoder Representations from Transformers）：微调训练-[文本问答]
· BERT（Bidirectional Encoder Representations from Transformers）：微调训练-[单句标注]
· BERT（Bidirectional Encoder Representations from Transformers）：模型总结与注意事项

BERT根据自然语言处理下游任务的输入和输出的形式，将微调训练支持的任务分为四类，分别是句对分类、单句分类、文本问答和单句标注。本文就将介绍单句分类的微调训练，其它类别的任务将在《深入理解深度学习——BERT（Bidirectional Encoder Representations from Transform）》系列中的其它文章介绍。

给定一个句子，判断该句子的类别，统称为单句分类。常见的任务如下：

• 斯坦福情感语料库SST-2（Standford Sentiment Treebank）：给定单句，判断情感类别，属于二分类任务。
• 文本连贯性语料库CoLA（Corpus of Linguistic Acceptability）：给定单句，判断是否为语义连贯的句子，属于二分类任务。

针对单句分类任务，虽然BERT没有在预训练过程中专门优化，但是NSP训练方法让BERT学会了用分类标签[CLS]捕获句对关系，也学会了提取并整合单句语义信息的能力。因此，针对单句二分类任务，无须对BERT的输入数据和输出数据的结构做任何改动，如下图所示，单句分类使用句首标签[CLS]的输出特征作为分类标签，计算分类标签与真实标签的交叉熵，将其作为优化目标，在任务数据上进行微调训练。同样，针对多分类任务，需要在句首标签[CLS]的输出特征向量后接一个全连接层与Softmax层，保证输出维数与类别数目一致。下面给出语义连贯性判断任务的实例，重点关注输入数据和输出数据的格式：

任务：判断句子“海大球星饭茶吃”是否为一句话
输入改写：“[CLS]海大球星饭茶吃”
取“[CLS]”标签对应输出：$[0.99,0.01]$，通过$\arg \max$操作得到相似类别为0，即这个句子并不是一个语义连贯的句子

参考文献：
[1] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015
[2] Aston Zhang, Zack C. Lipton, Mu Li, Alex J. Smola. Dive Into Deep Learning[J]. arXiv preprint arXiv:2106.11342, 2021.
[3] 车万翔, 崔一鸣, 郭江. 自然语言处理：基于预训练模型的方法[M]. 电子工业出版社, 2021.
[4] 邵浩, 刘一烽. 预训练语言模型[M]. 电子工业出版社, 2021.
[5] 何晗. 自然语言处理入门[M]. 人民邮电出版社, 2019
[6] Sudharsan Ravichandiran. BERT基础教程：Transformer大模型实战[M]. 人民邮电出版社, 2023
[7] 吴茂贵, 王红星. 深入浅出Embedding：原理解析与应用实战[M]. 机械工业出版社, 2021.