版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/baiziyuandyufei/article/details/52348746
问题:考虑用下面的测试文件,测试上面的模型
cat test_coupus2.txt
birds chirp
ngram -lm corpus.lm -ppl test_coupus2.txt -debug 2
使用catzs回退方法,进行模型训练
要旨:对于次数较少的N-gram组,将其概率减少,减少的概率分配给训练集中没出现的N-gram组。
ngram-count -text corpus.txt -order 2 -write corpus_katz.count -lm corpus_katz.lm
概率计算公式为
条件概率计算过程 详细见excel
重新计算困惑度
ngram -lm corpus_katz.lm -ppl test_coupus2.txt -debug 2