版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_35865125/article/details/88043005
生成模型(Generative Model):
先学习得到联合概率分布P(x,y), 即特征x和标记y共同出现的概率。然后,再由此获得P(y|x),即在特征x出现的情况下,标记y出现的概率。
例如,在朴素贝叶斯算法中,先根据样本数据得到P(y),P(x|y),得到了这两者也就意味着得到了联合概率分布,两者相乘即可得到,然后,可以根据贝叶斯公式推导出P(y|x)。
判别模型(Discriminative Model):
直接建模P(y|x)来预测y。又可以称为条件模型,或条件概率模型,估计的是条件概率分布p(class|context)。模型输出直接对应于分类准确率。
两种模型的比较:
Discrminative模型的基本思想是有限样本条件下建立判别函数,不考虑样本的产生模型(即手中的样本是由某个未知模型产生的),直接研究预测模型。代表性理论为统计学习理论。
生成模型基本思想是首先建立样本的概率密度模型,再利用模型进行推理预测。要求已知样本无穷或尽可能的大限制。这种方法一般建立在统计力学和Bayes理论的基础之上。
/////////////////////
经典的生成模型:
朴素贝叶斯算法(https://blog.csdn.net/qq_35865125/article/details/87945510 ),隐马尔科夫模型, 高斯混合模型, LDA, RestrictedBoltzmann Machine等.
经典的描述模型:
决策树,Logistic回归,神经网络。
Ref:
https://blog.csdn.net/u010358304/article/details/79748153
http://blog.sciencenet.cn/home.php?mod=space&uid=248173&do=blog&id=227964