一、BiLSTM-CRF构造

对于NER而言，我们可以构造BiLSTM-CRF来实现

NER中，往往需要得到一个序列标注：

二、CRF构造序列标注

2.1 CRF两类得分

2.1.1 Emission-Score

       从上述图示中，我们可以看到，当我们输入一个 $w_0$抑或是 $w_1$就可以得到相对应每个标签序列的得分。如输入 $w_0$即得到B-Person得分值为1.5，而输入 $w_1$得到B-Person得分值为0.2，这个分数是由我们的BiLSTM所构造所得。
       为了方便索引，我们给每个标签一个id索引：

        其中， $X_{i,y_{j=2}}$代表分数， $i$是单词的位置索引， $y_j$是类别索引，根据上述表示可得：
$X_{i,y_{j=2}} = X_{w_1, B-Organization}=0.1$
        表示单词 $w_1$被预测出来为B-Organization的分数为0.1。表示单词 $w_1$输入到我们BiLSTM层进行计算时，输出的B-Person的概率就是0.1。我们由这个神经网络的计算输出可得到下面的两种分数。

2.1.2 Transaction-Score

        从上表中我们可以得到如下三个结论：

• 句子的第一个单词是B-或O-，而不是I。（从START -> I-Person 或者 I-Organzation的转移分数很低，分别是-0.9以及-1）
• B-Label1 I-Label2 I-Label3…，在该模式中，类别1,2,3应该是同一种实体类别。比如，B-Organization是正确的，而B-Person I-Organizaiton则是错误的。（B-Organzation-> I-Person的分数很低）
• O I-Label是错误的，命名实体的开头应该是B-而不是I-。

        说归说，在实际过程中，我们是怎么样得到这个转移矩阵的呢？
实际上，转移矩阵是BiLSTM-CRF模型的一个参数，在训练模型之前，可以随机初始化转移矩阵的分数。这些分数将会随着迭代的过程被更新，换句话说，CRF层可以自己学到这些约束条件。

2.2 CRF 损失函数

        对于CRF的损失函数而言，其由两个部分组成，一个是真实路径得分，一个是总路径得分。真实路径的分数应该是所有路径中分数最高的。那么这两个概念是怎么来的呢？其实，也是同样从类别标签中出现的。于是，我们的数据集在下面有集中类别：

        一个句子包含5个状态序列，那么可能的类别序列如下：

• 1.START B-Person B-Person B-Person B-Person B-Person END
• 2.START B-Person I-Person B-Person B-Person B-Person END
• 3…
• 10.START B-Person I-Person O B-Organization O END
• N. O O O O O O

        这样，每种可能的路径分数为 $P_i$，共有 $N$条路径，那么路径的总分是：
$P_{total}=P_1+P_2+...+P_N$
        每个标签 $P_i$可以表示为 $e^{S_i}$，其中 $i$代表着第i条路径， $e$是常数 $e$。
        如果第十条路径是真实路径，也就是说第十条是正确的预测结果，那么第十条路径的分数应该是所有可能路径里最高的，根据如下的损失函数，在训练过程中，BiLSTM-CRF模型的参数值将在迭代过程中不断更新，使得真实路径所占的比值越来越大。这样，我们可以计算出我们的损失函数：
$LossFunction = \frac{P_{RealPath}}{P_1+P_2+...+P_N}$
        其中，最主要的问题依然是如何定义 $P_i$，就是我们的路径分数。对于真实路径的分数而言，计算 $e^{S_i}$，我们以START B-Person I-Person O B-Organization O END这条真实路径而言，句子中有5个单词 ${w_1, w_2, w_3, w_4, w_5}$，加上START和END在句子的开始位置和结束位置，记为 $w_0$和 $w_6$，那么我们的总分数就是：
$S_i = EmissionScore + TransitionScore$

        (1) EmissionScore

        可以计算 $EmissionScore=x_{0,START}+x_{1,B-Person}+x_{2,I-Person}+x_{3,O}+x_{4,B-Organization}+x_{5,O}+x_{6,END}$        其中，这些分数都来自于BiLSTM层的输出，至于 $x_{0,START}$与 $x_{6,END}$则设置为0。

        (1) TransitionScore

        计算完EmissionScore（排放分数）后，我们可以计算TransitionScore(转移分数)了：
$TransitionScore = t_{0,START->B-Person}+t_{1,B-Person->I-Person}+t_{2,I-Person->O}+t_{O->B-Organization}+t_{O->END}$
        这些分数都来自于CRF层，将这两类的分数相加即可得到 $S_i$和 $e^{S_i}$。

        那么如何计算所有路径的总分呢？由于我们前面所定义的损失函数为： $LossFunction = \frac{P_{RealPath}}{P_1+P_2+...+P_N}$        我们将损失函数求log变换得： $Log(LossFunction) = log\frac{P_{RealPath}}{P_1+P_2+...+P_N}$
        由于我们训练的目标通常都是最小化损失函数，所以加上负号得： $Log(LossFunction) = log\frac{e^{S_{RealPath}}}{e^{S_1}+e^{S_2}+...+e^{S_N}}$        之后损失函数可求得：
$-(\sum_{i=1}^N x_{iy_i} + \sum_{i=1}^{N-1} t_{y_iy_{i+1}}-log(e^{S_1}+e^{S_2}+...+e^{S_N}))$

2.3 CRF Demo

        为了简化问题，我们假定我们的句子只有3个单词组成：
$x = [w_0, w_1, w_2]$
        另外，我们只有两个类别：
$LabelSet = {l_1, l_2}$
        状态分数 $EmissionScore$如下：

        转移矩阵 $TranscitionScore$如下：

        我们的目标是： $log(e^{S_1}+e^{S_2}+...+e^{S_N})$
        整个过程就是一个分数积聚的过程，其思想有点类似于动态规划。首先， $w_0$所有路径的总分鲜卑计算出来，然后，我们计算 $w_0 -> w_1$的所有路径得分，最后计算 $w_0 -> w_1-> w_2$ 的所有路径得分，也就是我们所需要的结果。

        接下来，会出现两个变量Previous以及obs，Previous存储了之前步骤的结果，obs代表当前单词所带的信息。

$w_0:$ $obs=[x_{01},x_{02}]$ $previous=None$
        如果我们的句子只有一个单词，我们就没有之前的步骤，所以previous是空值，我们只能观测到状态分数 $obs = [x_{01}, x_{02}]$
         $w_0$的所有路径总分就是： $TotalScore(w_0)=log(e^{x_{01}}+e^{x_{02}})$
$w_0 - > w_1:$ $obs=[x_{11},x_{12}]$ $previous=[x_{01}, x_{02}]$
        我们的previous为
$previous=(x_{01} x_{01} x_{02} x_{02})$
        我们的obvious观察为
$obvious=(x_{11} x_{12} x_{11} x_{12})$
那为什么要扩展previous和obvious矩阵呢？因为接下来操作可以是一个高效存在：
$scores=(x_{01} x_{01} x_{02} x_{02}) + (x_{11} x_{12} x_{11} x_{12}) + (t_{11} t_{12} t{21} t_{22})$
        得到
$scores = (x_{01} + x_{11} + t_{11} x_{01} + x_{12} + t_{12} x_{02} + x_{11} + t_{21} x_{02} + x_{12} + t_{22} )$
        将我们的转移矩阵变成前向后得到
$previous=[log(e^{x_{01} + x_{11} + t_{11}} +e^{x_{02} + x_{11} + t_{21}}), log((e^{x_{01} + x_{12} + t_{12}} +e^{x_{02} + x_{12} + t_{22}})]$
        实际上，第二次迭代过程也就是随着迭代进行而完成。
$TotalScore(w_0 -> w_1)$ $=log(e^{pervious[0]} + e^{previous[1]})$ $=log(e^{pervious[0]} + e^{previous[1]})$ $=log(e^{pervious[0]} + e^{previous[1]})$

推导过程参考以下链接（mardown公式太难编辑，有空再编辑），作上述步骤的目的是为了得到一个总体的路径规划，通过previous以及obvious可得到： $log(e^{S_1}+e^{S_2}+...+e^{S_N})$
        对于我们的句子中，一共有3个单词以及两个类别，一共有8条路径。

2.4 探索词性标注

1. BiLSTM-CRF模型得到的排放分数和转移分数

        假定我们的句子一共3个单词组成：
$X = [w_0, w_1, w_2]$
        并且，我们已经从模型中得到了发射分数，如下：
         $EmissionScore$

         $TransactionScore$

         开始预测，若熟悉Viterbi算法，当然会非常简单。当然，不熟悉的也无所谓，整个预测过程和之前求所有路径总分的过程非常类似，我们将逐步解释清楚，我们先从左到右的顺序来运行预测算法。

• $w_0$
• $w_0 - > w_1$
• $w_0 -> w_1 -> w_2$
          在这个过程中，将会看到两类变量，分别是obs和previous。Previous存储了上一个步骤的最终结果，Obs代表当前单词包含的信息（发射分数）。

         Alpha0是历史最佳分数，Alpha1是最佳分数所对应的类别索引。这两类变量详细信息会做说明。我们根据最大得分找到最佳路径。那么Alpha0与Alpha1将会被用来寻找最佳路径。