先整理下相关概念:
条件随机场P(Y|X):
表示的是给定一组输入随机变量 X 的条件下另一组输出随机变量 Y 的马尔可夫随机场,也就是说 CRF 的特点是假设输出随机变量构成马尔可夫随机场。
什么是随机场?
官方定义:
随机场就是随机过程在空间上的推广。随机过程的基本参数是时间变量,而随机场的变量是位置向量u(x,y,z).所以随机场就是定义在一个场域参数集合上的随机变量系。对于场域内的任一点,都有随机变量与它对应。
讲人话:就是多维的随机过程.
什么是马尔科夫随机场:
马尔科夫随机场就是概率无向图模型,就是联合概率分布.
讲人话:就是多维随机变量的联合分布.
为什么引入无向图:
为了直观、便于分析,学术上,图论的东西可以用于概率,概率的东西可以用于图论,方便多学科促进.
讲人话:就是为了好看.
什么是生成式模型和判别式模型?
https://blog.csdn.net/appleyuchi/article/details/85319921
什么是线性链随机场?
李航的书P195页有定义:
这个判别式是什么意思呢?
也就是说:这个
只和前一个词语
或者后一个词语
以及输入X相关
讲人话,举个可能不太恰当的例子哈:
“我要犒赏你们”
这里的你们如果放在一句话的开头,那么词性就是"主语"
由于上面这个桔子中的"你们"放在"犒赏后面",那么"你们"的词性就是"宾语"
所以这里的:
=动词
=宾语
上面这个例子,举得不是太合适,只是想表明一个"词性标注"的观点:
一个词语被标注为那种词性是和前后的词语是相关的.,而这种相关性也刚好和"马尔科夫性"相吻合,所以一拍即可,crf就被拿来对词语进行标注了.
☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆
下面是重点,linear-CRF的具体举例:
李航书上的P196的例11.1有些问题,没有提供输入的x的具体的值是什么.
刘建平的博客园也是照抄了李航书上的东西,他似乎也是没有完全搞懂.
下面我们详细讲讲这个"词性标注"的例子.
借用一张分词的图:
我们的目的:
输入一段分词后的话,
输出每个词语的词性标注.
我们先回顾下HMM,每次计算的概率这样的:
当前计算的概率·转移概率·摸到红(白)球的概率
然后获取总积累概率最大的一条路径作为"状态序列",讲人话,就是想知道,这些小球是从哪几个盒子里面摸到的.
与此对应的linear-CRF,viterbi计算最优路径问题是这样的:
那么根据上面的图,每一层发生了什么呢?
我们知道,如果是HMM,那么每一层表示:跳转到某个盒子+抽取小球
对于linear-CRF而言,每一层表示:跳转到某个盒子(词性)+抽取小球(具体的词语)
但是呢,linear-CRF计算公式换了换,例如,计算第二层时,
公式变成:
讲得有点乱,我们来个表格对比下上面的内容:
计算过程 | HMM的例子 | linear-CRF的例子 |
---|---|---|
算法 | viterbi | viterbi |
算法目标 | ||
计算思路 | 跳转到每一层的盒子中 然后抽红白球(放回抽取) |
跳转到每一层的盒子(词性)中 然后生成某个词语(放回生成) |
算法输入 | 摸到的小球颜色序列, 例如:(红,白,红) |
生成的词语序列, 例如:(我,要,去,吃,饭) |
算法输出 | (第三个盒子,第三个盒子,第三个盒子) | (名词,谓语,动词,动词,名词) |
算法第2层, 状态为l的计算 |
= |
|
上图中的圆圈含义 | 每个圆圈代表放小球的盒子 每个盒子中都有不同颜色的小球 |
每个圆圈代表不同的词性 每个词性都可以依据概率生成不同的词语 |
其他参考链接:
https://www.cnblogs.com/Determined22/p/6915730.html
https://zhuanlan.zhihu.com/p/28343520